WO2018016142A1 - 情報処理システム、情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018016142A1
WO2018016142A1 PCT/JP2017/015167 JP2017015167W WO2018016142A1 WO 2018016142 A1 WO2018016142 A1 WO 2018016142A1 JP 2017015167 W JP2017015167 W JP 2017015167W WO 2018016142 A1 WO2018016142 A1 WO 2018016142A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing system
control unit
content
captured image
Prior art date
Application number
PCT/JP2017/015167
Other languages
English (en)
French (fr)
Inventor
芳徳 高木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/315,214 priority Critical patent/US10685551B2/en
Priority to JP2018528406A priority patent/JP6922911B2/ja
Publication of WO2018016142A1 publication Critical patent/WO2018016142A1/ja
Priority to US16/849,167 priority patent/US11011044B2/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/003Signalling to neighbouring houses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/12Manually actuated calamity alarm transmitting arrangements emergency non-personal manually actuated alarm, activators, e.g. details of alarm push buttons mounted on an infrastructure
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/06Remotely controlled electronic signs other than labels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing system, an information processing apparatus, an information processing method, and a program.
  • language communication verbal communication
  • Communication by language is excellent in information transmission.
  • indoor residents can convey emotions by language communication.
  • Patent Document 1 when an abnormality is detected by a sensor, the abnormality information is transmitted to the center device of the security company, and the voice or video is output from the door phone to threaten the intruder or notify the surrounding residents of the abnormal situation.
  • a system is disclosed.
  • an information processing system and information processing system that can appropriately communicate the indoor state to the outside while keeping a distance in physical contact and achieve both crime prevention and disaster prevention and activation of the local community.
  • An apparatus, an information processing method, and a program are proposed.
  • a detection unit that detects an emotion of one or more persons indoors based on sensor data obtained by sensing an indoor state, and an emotion value of at least one of the detected emotions is a predetermined condition When satisfy
  • a detection unit that detects an emotion of one or more persons indoors based on sensor data obtained by sensing an indoor state, and when the detected emotion value satisfies a predetermined condition, the indoor state is
  • An information processing apparatus includes a control unit that controls to output a captured image to an outdoor display device.
  • the processor detects the emotion of one or more persons indoors based on sensor data obtained by sensing an indoor state, and when the detected emotion value satisfies a predetermined condition,
  • the present invention proposes an information processing method including controlling to output a captured image obtained by capturing a state to an outdoor display device.
  • the indoor when the computer detects a feeling of one or more persons indoors based on sensor data obtained by sensing an indoor state, and the detected emotion value satisfies a predetermined condition, the indoor
  • a program that functions as a control unit that controls to output a captured image obtained by capturing the image to an outdoor display device.
  • FIG. 5 is a flowchart illustrating an operation process when an emergency occurs in the information processing system according to an embodiment of the present disclosure. It is a figure which shows the example of a display of the panic notification content by this embodiment. It is a figure which shows the example of a display of the search wish by this embodiment. It is explanatory drawing which showed the hardware constitutions of the information processing apparatus concerning this indication.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment displays an indoor state on the output device 12 provided in the basket 21 of the house 20, while placing a distance in physical contact, Appropriately communicate indoor conditions to the outside, making it possible to achieve both crime prevention and disaster prevention as well as activation of the local community.
  • the installation location of the output device 12 is not limited to the wall 21 but may be any location that can be seen from the outside, such as the wall surface of the house 20.
  • FIG. 2 is a block diagram showing an example of the configuration of the information processing system 1-1 according to the first embodiment. As shown in FIG. 2, the information processing system 1-1 includes an emotion detection unit 10, a control unit 11a, and an output device 12.
  • the emotion detection unit 10 has a function of detecting indoor user emotions.
  • the emotion detection unit 10 may recognize a user's face image from a captured image captured by a camera installed indoors, and quantify the user's emotion from the face image (for example, smile level).
  • the emotion detection unit 10 can also recognize the user's utterance content, voice color, and the like from the user voice collected by the microphone and quantify the user emotion.
  • the emotion detection unit 10 can also recognize user biometric information (pulse, heartbeat, sweat rate, brain wave, body temperature, etc.) detected by the biosensor and quantify the user emotion.
  • biometric information pulse, heartbeat, sweat rate, brain wave, body temperature, etc.
  • digitization is performed using an emotion model that has been learned or has been relearned for each user.
  • the emotion parameter value may be obtained from a plurality of types of biological information.
  • a feature amount is extracted from information such as the user's facial expression, gesture, and voice to predict the user emotion,
  • the user's emotion may be predicted from the meta information of the content viewed by the user, and the user's emotion may be recognized based on the prediction results of both.
  • the control unit 11a functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing system 1-1 according to various programs.
  • the control unit 11a is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 11a may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 11a according to the present embodiment is realized by an information processing device such as a home agent connected to the home network, and may be separate from the emotion detection unit 10 and the output device 12.
  • control unit 11a also functions as the content generation unit 111a.
  • the content generation unit 111 a generates content to be output to the output device 12 in accordance with the emotion of the indoor person detected by the emotion detection unit 10.
  • the content generation unit 111a may generate content in the form of a wall newspaper as shown in FIG. 1 based on a captured image captured indoors when the detected emotion exceeds a predetermined threshold.
  • a captured image may be captured by a camera installed indoors, or may be captured by a user with a smartphone, a handy cam, or the like.
  • the captured image may be either a still image or a moving image.
  • the output device 12 outputs the content (image, sound, etc.) generated by the content generation unit 111a according to the control of the control unit 11a.
  • the output device 12 is realized by a display device.
  • the display device may be, for example, a liquid crystal display (LCD), an organic EL (Electroluminescence) display, or may be electronic paper that has been developed in recent years. Electronic paper has virtually zero standby power in display, is also an “electronic device”, and is also useful as a “building material” that can be installed on a wall or wall. In this embodiment, for example, a huge electronic paper is provided as an output device 12 on a wall or a wall.
  • FIG. 3 is a flowchart showing an operation process according to the first embodiment.
  • the information processing system 1-1 detects the emotion of a person in the house by the emotion detection unit 10 (step S103).
  • the emotion detection unit 10 analyzes the facial expression of an indoor person continuously photographed by a camera installed indoors, and quantifies the emotion of each person.
  • control unit 11a determines whether or not the fluctuation of the emotion detected by the emotion detection unit 10 has exceeded a certain value (predetermined threshold) (step S106). Alternatively, the control unit 11a may determine whether or not the detected emotion value exceeds a predetermined value. Each threshold may be set for each person.
  • control unit 11a determines whether or not the detected emotion value is within a preset openable range (step S109).
  • the content generation unit 111a when it is within the range that can be disclosed (step S109 / Yes), the content generation unit 111a generates content (step S112). For example, when the fluctuation of the emotion of “joy” of a person indoors exceeds a certain value and is within a publicly available range, the content generation unit 111a captures the person captured when the emotion is detected. Based on the image, a wall newspaper-type image content (for example, a newspaper-style layout image including a headline, a date, and a captured image) as shown in the output device 12 of FIG. 1 is generated.
  • a wall newspaper-type image content for example, a newspaper-style layout image including a headline, a date, and a captured image
  • control unit 11a outputs the generated image content to the output device 12, and updates the previous wall newspaper when it is displayed on the output device 12 (step S115).
  • control unit 11a does not generate the content and ends without updating the wall newspaper.
  • the operation process described above can be repeated continuously or periodically, and the indoor state can be appropriately notified to the outside according to the emotion of the indoor person.
  • the neighboring residents can see the recent events of the residents of this house by looking at the wall newspaper displayed on the output device 12 of the bag 21, which leads to the activation of the local community.
  • the information processing system 1-1 detects an emotion (photographer's or subject's emotion) when the user has photographed a scene to be memorized, and if it exceeds a certain value, The image content may be generated based on this. Further, the information processing system 1-1 may present the generated image content to the user, and output it to the output device 12 when approved by the user. Further, the information processing system 1-1 may present the generated image content to the user so that the user can edit it. At this time, the information processing system 1-1 may use a communication terminal such as a user's smartphone or PC as an interface.
  • the captured image is used as the image content as it is, but the present disclosure is not limited to this, and the voice at the time of imaging is added as text, or the captured image is partially processed. May be used.
  • the information processing system 1-2 according to the second embodiment of the present disclosure will be described below with reference to FIGS.
  • FIG. 4 is a block diagram showing an example of the configuration of the information processing system 1-2 according to the second embodiment.
  • the information processing system 1-2 includes an emotion detection unit 10, a control unit 11b, an output device 12, a voice input unit 13, and an operation input unit 14.
  • the emotion detection unit 10 and the output device 12 are the same as those in the first embodiment described with reference to FIG.
  • the audio input unit 13 is realized by a microphone provided in the house, a microphone amplifier unit that amplifies the audio signal obtained by the microphone, and an A / D converter that converts the audio signal into a digital signal. It outputs to the control part 11b.
  • the operation input unit 14 receives an operation input by the user and outputs the operation content to the control unit 11b.
  • the operation input unit 14 may be a touch sensor, a pressure sensor, or a proximity sensor provided integrally with an indoor display unit.
  • the operation input unit 14 may have a physical configuration such as a button, a switch, or a lever.
  • the control unit 11b functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing system 1-2 according to various programs. Further, the control unit 11b according to the present embodiment functions as the content generation unit 111b, the voice recognition unit 112, and the image processing unit 113.
  • the voice recognition unit 112 has a function of recognizing the voice signal collected by the voice input unit 13 and converting it into a character string. Further, the voice recognition unit 112 may further perform syntax analysis and semantic analysis of the character string.
  • the image processing unit 113 has a function of processing a captured image captured by a camera in the house. For example, the image processing unit 113 can cut or erase a part of the captured image that is disclosed on the output device 12.
  • the image processing unit 113 according to the present embodiment may perform preset processing automatically or according to a user operation.
  • the content generation unit 111b can generate content to be output to the output device 12 based on the voice character string recognized by the voice recognition unit 112 and the captured image processed by the image processing unit 113.
  • FIG. 5 is a diagram for explaining generation of image content to which a character string recognized by speech according to the second embodiment is added.
  • a user 23 ⁇ / b> A or a user 23 ⁇ / b> B is based on the captured image or sound. Detect emotions continuously.
  • the content generation unit 111b uses the wall newspaper format layout based on the captured image of the user 23B captured by the camera 22. Image content 122 is generated.
  • the utterance voice “delicious!” Of the user 23B when the fluctuation of the emotion value exceeds a certain value is picked up by the voice input unit 13 and converted into a character string by the voice recognition unit 112.
  • the content generation unit 111b adds the character string to the captured image to generate the image content 122, so that the situation when the emotion value fluctuates can be notified to the neighboring residents in more detail.
  • the character string added to the image content may be a user's utterance voice started before and after the imaging timing of the captured image captured when the emotion value fluctuates.
  • the arrangement method of the character string is not particularly limited.
  • the captured image is recognized as a face
  • the mouth portion of the user 23B's face appearing in the captured image is detected
  • the character string is displayed in a balloon shape from the periphery of the mouth portion. May be.
  • FIG. 6 is a diagram for explaining generation of image content using a captured image obtained by image processing according to the second embodiment.
  • a captured image captured in a house includes a portion that is not desired to be disclosed, such as a scattered portion or a dirty portion.
  • the control unit 11b specifies a portion 31 that is not desired to be disclosed, such as a scattered portion or a dirty portion, automatically from the captured image 60 illustrated in FIG. 6 by object recognition or based on a user instruction.
  • the image processing unit 113 performs processing for erasing the portion 31 that is not desired to be disclosed, or processing for concealing with a balloon 125 or the like as illustrated in FIG. 6, and generates image content 124 that hides the portion 31 that is not desired to be disclosed. It becomes possible.
  • the character string based on the uttered voice is added to the image in more detail, so that the indoor state is more detailed. Can be notified.
  • emotion detection and image content generation are performed based on a captured image captured in real time from a camera installed indoors, a user's smartphone, or the like, but the present disclosure is not limited thereto.
  • the information processing system 1 according to the present disclosure may detect user emotion when viewing a captured image or a recorded video in the past in conjunction with a content reproduction device and generate image content to be output to the output device 12. Good.
  • the information processing system 1-3 according to the third embodiment of the present disclosure will be described below with reference to FIGS.
  • FIG. 7 is a block diagram showing an example of the configuration of the information processing system 1-3 according to the third embodiment.
  • the information processing system 1-3 includes an emotion detection unit 10, a control unit 11c, an output device 12, an audio input unit 13, an operation input unit 14, and a content reproduction device 15.
  • the emotion detection unit 10, the output device 12, the voice input unit 13, and the operation input unit 14 are the same as those in the second embodiment described with reference to FIG.
  • the content playback device 15 has a function of playing back captured images and recorded videos.
  • the content reproduction device 15 is realized by a TV, a recorder, a smartphone, a PC, or the like.
  • the content reproduction device 15 outputs the content being reproduced to the control unit 11c as necessary.
  • the control unit 11c functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing system 1-3 according to various programs.
  • the control unit 11c according to the present embodiment functions as a content generation unit 111c, a voice recognition unit 112, and a reproduction content editing unit 114.
  • the voice recognition unit 112 recognizes the voice signal collected by the voice input unit 13, converts it into a character string, and further converts the syntax of the character string. Has a function to perform analysis and semantic analysis.
  • the playback content editing unit 114 has a function of selecting playback content and putting captions based on the content extracted from the content played back by the content playback device 15.
  • the control unit 11c is watching the user.
  • the content of the recorded content is acquired from the content playback device 15 and the playback content editing unit 114 edits the playback content.
  • the edited image is output to the output device 12 as will be described later, and is disclosed to an unspecified number of people.
  • a mechanism for obtaining permission for use in the information processing system 1 from the copyright owner may be installed.
  • the content generation unit 111c generates content to be output to the output device 12 based on the image edited by the reproduction content editing unit 114. At this time, the content generation unit 111c may add a character string of the user uttered voice when viewing the reproduction content, which is input by the voice input unit 13 and recognized by the voice recognition unit 112.
  • FIG. 8 is a diagram for explaining generation of image content based on reproduction content according to the third embodiment.
  • the image content 126 generated based on the playback content is displayed on the output device 12 of the bag 21.
  • a plurality of image contents 126a to 126d generated based on the reproduced content are arranged in a layout like a wall newspaper.
  • the image content 126a is based on an image extracted from the movie because, for example, the user's emotion (for example, “fun”, “excitement”, etc.) fluctuates over a certain value while the user is watching the movie on the content playback device 15. And generated by the content generation unit 111c.
  • the caption “Last night movie, best!” Can be arbitrarily input from the operation input unit 14 by the user, for example. For example, input from various SNSs, blogs, e-mails sent / released by users, chats, messages, etc. may be changed to this.
  • the image contents 126b to 126d are, for example, when the user's emotion (for example, “happy”, “fun”, etc.) fluctuates beyond a certain value when the user is viewing a picture or video captured in the past by the content reproduction device 15.
  • the content is generated by the content generation unit 111c based on an image extracted from the photograph or moving image.
  • the captions “Picture!”, “Celebration! Admission!”, “Long-awaited bicycle!” Can be arbitrarily input from the operation input unit 14 by the user, for example.
  • the image content generated by the information processing system 1 is not limited to the above-described example.
  • image content in a manga format (hereinafter also referred to as “manga content”) may be generated based on a captured image or speech sound.
  • FIG. 9 is a block diagram showing an example of the configuration of the information processing system 1-4 according to the fourth embodiment.
  • the information processing system 1-4 includes an emotion detection unit 10, a control unit 11d, an output device 12, a voice input unit 13, an operation input unit 14, and a communication unit 16.
  • the emotion detection unit 10, the output device 12, the voice input unit 13, and the operation input unit 14 are the same as those in the above-described embodiment described with reference to FIGS.
  • the control unit 11d functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing system 1-4 according to various programs.
  • the control unit 11d according to the present embodiment also functions as the content generation unit 111d and the voice recognition unit 112.
  • the content generation unit 111d collects the captured image of the user by the indoor camera or the voice input unit 13, and the voice recognition unit 112 Based on the user uttered voice recognized by the above, manga content to be output to the output device 12 is generated.
  • the content generation unit 111d can generate a manga in which a user's emotion is reflected in a story or a character using an automatic manga creation method described in Japanese Patent Application Laid-Open No. 2008-305171.
  • the content generation unit 111d has a type of frame (a plurality of frames used for each frame constituting a manga page) according to the length of a sentence constituting a text based on a captured image or a user's speech. A frame corresponding to the display frame of the pattern) is determined. Next, the content generation unit 111d determines the facial expression of the character to be placed on the frame (for example, the user's face image cut out from the captured image) and the balloon frame according to the user's emotion. Then, the content generation unit 111d synthesizes the determined frame, the character expression (captured image), and the balloon frame, and places the text in the balloon frame to create a frame.
  • a type of frame a plurality of frames used for each frame constituting a manga page
  • a frame corresponding to the display frame of the pattern is determined.
  • the content generation unit 111d determines the facial expression of the character to be placed on the frame (for example, the user's face image cut out from the captured image) and the balloon frame
  • the content generation unit 111d can generate moving image content that summarizes the moving image based on the moving image metadata captured by the indoor camera, the user's smartphone, or the like.
  • the video summarization method is a method that uses section metadata indicating a section in which an object appears, as described in, for example, JP 2012-249156 A and JP 2013-25748 A. Also good.
  • the moving image summarization method is a method of appropriately combining a history image (captured image positioned in the time axis) based on the feature amount of the captured image as described in JP-A-2009-159330. There may be. Then, the content generation unit 111d can generate content obtained by converting the summarized video into a manga.
  • the content generation unit 111d outputs the generated manga content to the output device 12 to notify the surrounding residents. If the generated manga content is insufficient in the display area of the output device 12, the information processing system 1-4 may display the continuation from an output device installed in a neighboring house or a nearby basket.
  • the communication unit 16 is a communication module for transmitting / receiving data to / from other devices by wire / wireless.
  • the communication unit 16 is a system such as wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, etc. Wirelessly or directly via a network access point.
  • the communication unit 16 according to the present embodiment transmits, for example, manga content or the like generated by the content generation unit 111d to the information processing system 1 of another house or receives manga content or the like from the information processing system 1 of another house. .
  • FIG. 10 is a diagram for explaining the linkage of the output devices of a plurality of houses according to the present embodiment.
  • the information processing system 1-4A detects the emotion of a person in the house 20A and the fluctuation of the emotion value exceeds a certain value, the captured image (still image, Manga content is generated on the basis of the (moving image) and the collected user voice and displayed on the output device 12A of the external bag 21A.
  • the information processing system 1-4A accesses the information processing system 1-4B of the predetermined neighboring house 20B and transmits the manga content.
  • the output device 12B provided in the basket 21B of the neighboring house 20B is controlled to display subsequent comic content.
  • FIG. 11 is a block diagram showing an example of the configuration of the information processing system 1-5 according to this embodiment.
  • the information processing system 1-5 includes an emotion detection unit 10, a control unit 11e, an output device 12, a voice input unit 13, an operation input unit 14, and an input device 17.
  • the emotion detection unit 10, the output device 12, the voice input unit 13, and the operation input unit 14 are the same as those in the above-described embodiments described with reference to FIGS.
  • the input device 17 has a function of accepting comments and writing on the image content displayed on the output device 12.
  • the input device 17 is provided on the display screen of the output device 12 and accepts contact / proximity / non-contact input with a pen-like attachment, a finger, or the like.
  • the input device 17 may collect the voice of an outdoor person with a microphone provided around the output device 12 and accept a voice input.
  • voice input may be accepted when there is an explicit input start operation.
  • the input device 17 may accept voice input when it is detected by a touch sensor or the like that any one of the wall newspaper images displayed on the output device 12 is pressed.
  • the control unit 11e functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing system 1-5 according to various programs. Further, the control unit 11e according to the present embodiment also functions as the content generation unit 111e, the voice recognition unit 112, and the image processing unit 113.
  • the content generation unit 111e generates image content to be output to the output device 12. Further, the content generation unit 111e reflects the comment or writing input via the input device 17 on the image content and outputs the image content to the output device 12.
  • FIG. 12 shows a diagram for explaining the input from the outdoors according to the present embodiment.
  • the information processing system 1-5 includes an input device 17 (for example, writable electronic paper) integrated with the output device 12 provided on the outdoor fence 21.
  • the information processing system 1-5 accepts writing on the image content displayed on the output device 12 by the input device 17, and displays the writing on the image content as shown in FIG. 12 (or for the control of the control unit 11e). It may be possible to rewrite on electronic paper.
  • the content generation unit 111e when the content generation unit 111e receives voice input from the input device 17 triggered by any one of the display screens of the output device 12 being pressed, the content generation unit 111e recognizes the voice at the pressed position. A character string may be displayed.
  • two-way communication is realized by not only unilaterally informing the residents and feelings of the indoor person, but also by receiving reactions from the residents in the vicinity. Can do.
  • the wall-type output device 12 can be used as a “next-generation margin” with the surrounding residents or a “real regional SNS tool”.
  • the input device 17 is not limited to the above-described example, and may be realized by a camera, for example, so that a captured image can be input. Further, a face image of a person performing writing may be recorded with a surveillance camera.
  • the outdoor wall-type output device 12 and the input device 17 are used as a bulletin board that can be freely written.
  • the written contents may be displayed in conjunction with other output devices (such as output devices provided in other household jars) installed at remote locations (synchronous control). .
  • output devices such as output devices provided in other household jars
  • remote locations synchronous control
  • a module that generates electric power by vibration of a vehicle or the like passing through a road in front of the fence 21 may be provided in addition to a solar battery, and an independent power supply system of the input / output device may be established.
  • the control unit 11 may update image content such as a wall newspaper displayed on the input / output device when power is accumulated.
  • a hand-charged charger may be provided so that the person who wants to write data himself / herself supplies power.
  • the information processing system 1 according to the present disclosure is applied so that an approximate state of an indoor person can be observed along the way without entering the room, the person in the area can be observed between visits. It is possible to determine in advance whether or not it is necessary to visit and care for the patient until they enter the room.
  • a description will be given with reference to FIG.
  • FIG. 13 is a diagram showing a display example of image content corresponding to visiting medical care according to the present embodiment.
  • living body information body temperature, blood pressure, sweating amount, exercise amount, heart rate, pulse, etc.
  • health information sleep information
  • calorie intake calorie intake
  • meal time etc.
  • medical practice contents of medication
  • biometric information and health information may be automatically detected by a wearable device worn by an indoor user and transmitted to the control unit 11, or when the user uses a sphygmomanometer at home, the sphygmomanometer Or the like may be transmitted to the control unit 11 via the home network.
  • information that should only be disclosed to limited people, such as medical practices, is only available when the person eligible for viewing is authenticated by an appropriate method such as password, card touch, or biometric authentication. It may be displayed.
  • control unit 11 determines that medical intervention is necessary based on information such as various biological sensors, the medical institution is notified or an unaffected state is observed. It also leads to the opportunity to do.
  • the information processing system 1 by notifying outside emotions and appearances to the outside, It can be used for (mutual) assistance.
  • FIG. 14 is a flowchart showing an operation process when an emergency occurs by the information processing system 1 of the present embodiment. As shown in FIG. 14, first, the information processing system 1 detects a change in the emotion of a person in the house by the emotion detection unit 10 (step S203).
  • the control unit 11 has an emergency situation (panic state) such as a fire or a crime occurring indoors. It can be judged that there is a high possibility.
  • the control unit 11 may determine the panic state based on the sum of the values of tension and discomfort, or one of them, or whether the weighted addition value exceeds a certain value.
  • the control unit 11 when the panic state continues even after a predetermined time has elapsed (step S209 / Yes), the control unit 11 generates panic notification content and updates the wall newspaper image of the output device 12 (step S212). ). At this time, the control unit 11 may emit a warning sound from the output device 12.
  • the panic notification content is, for example, image content including a display indicating that a panic is occurring and a captured image around a person determined to be in a panic state.
  • FIG. 15 shows a display example of the panic notification content according to the present embodiment. As shown in the upper part of FIG. 15, the wall newspaper image content as described in the first to seventh embodiments is normally displayed on the output device 12 of the bag 21 as shown in the upper part of FIG.
  • the display is updated to the panic notification content including a display indicating panic and a captured image of the panic situation.
  • the residents in front of the house can be informed that the panic continues indoors.
  • the output device 12 notifies the panic to the outside.
  • step S215 when the panic state continues even after a predetermined time has elapsed (step S215 / Yes), the control unit 11 installs the panic notification content on the wall of the next house (specifically, on the wall). The output is also displayed on the output device) (step S218).
  • the control unit 11 repeats the above steps S215 and S218 as long as the panic state continues, and interlocks with the information processing system of the neighboring house as the panic state is prolonged as the two neighboring houses and further the neighboring house. Then we will expand the well-known range. This chain may continue as long as possible or may be kept within a predetermined range.
  • step S209 / No, step S215 / No the control unit 11 displays the normal display from the output device 12 (control to return to the original state when switching to the panic notification content). This is performed (step S221).
  • the panic notification content can be displayed on the output device 12 in the event of an emergency to notify the surroundings of an abnormal situation.
  • the present embodiment is not limited to this, for example, depending on the degree of panic state and the duration time, A panic notification is sent to the registered family as the first stage, the outside is notified from the output device 12 as the second stage, and a predetermined public organization (fire department, police, hospital, etc.) is notified as the third stage. May be. Not only when a panic is detected, but also when linked to a fire alarm or from other qualified outsiders (residents, those eligible to enter the house, security companies, police, fire departments, local government officials) Such a display may be performed when an appropriate trigger is applied.
  • the information processing system 1 is not limited to automatically detecting and informing a sudden abnormal situation indoors, and the user himself or a person who has received appropriate authority transfer from the user ( It is also possible that a caregiver, a security company, a nearby resident, the police, a local government official, or the like) inputs an emergency situation from the operation input unit 14 and notifies the surrounding resident from the output device 12.
  • dementia is increasing with the transition to a super-aging society. If so, the habits of elderly people with dementia become a problem.
  • the disaster prevention radio in the area there are many broadcasts about the elderly who are missing in addition to broadcasts to fires and earthquakes.
  • Local disaster prevention radio is broadcast by voice, but it is difficult to convey detailed features.
  • it takes time to broadcast on the disaster prevention radio and the time from the beginning of dredging will be longer, and the search range will be expanded.
  • a search request for an elderly person who has disappeared from the home is immediately displayed on the output device 12 of the bag 21 outside the home. Can be known to the neighborhood. At this time, by displaying the captured image of the elderly person, the feature can be visually known and can be used for searching.
  • the information processing system 1 uses various sensors and action recognition techniques as described in Japanese Patent Laid-Open No. 2016-6612 and Japanese Patent Laid-Open No. 2016-6611 to prevent elderly people from wandering.
  • the movement trajectory can be displayed on the output device 12 to be useful for searching.
  • FIG. 17 is an explanatory diagram illustrating a hardware configuration of the information processing apparatus 100 according to the present disclosure.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 142, a ROM (Read Only Memory) 144, a RAM (Random Access Memory) 146, a bridge 148, a bus 150, and an interface. 152, an input device 154, an output device 156, a storage device 158, a drive 160, a connection port 162, and a communication device 164.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 142 functions as an arithmetic processing unit and a control unit, and operates the content generation unit 111, the voice recognition unit 112, the image processing unit 113, and the reproduction content editing unit 114 in the information processing apparatus 100 in cooperation with various programs. Realize.
  • the CPU 142 may be a microprocessor.
  • the ROM 144 stores programs or calculation parameters used by the CPU 142.
  • the RAM 146 temporarily stores programs used in the execution of the CPU 142 or parameters that change as appropriate during the execution.
  • the ROM 144 and the RAM 146 realize part of a storage unit (not shown) in the information processing system.
  • the CPU 142, the ROM 144, and the RAM 146 are connected to each other by an internal bus including a CPU bus.
  • the input device 154 includes, for example, a camera, a mouse, a keyboard, a touch panel, a button, a microphone, various sensors (acceleration sensor, angular velocity) as an example of the emotion detection unit 10, the voice input unit 13, and the operation input unit 14 of the information processing system 1.
  • Sensor geomagnetic sensor, illuminance sensor, temperature sensor, barometric pressure sensor, biological sensor, etc.
  • input means for the user to input information such as switches and levers, and an input signal based on camera imaging or user input
  • an input control circuit for outputting to the CPU 142.
  • a user of the information processing apparatus 100 can input various data or instruct a processing operation to the information processing apparatus 100 by operating the input device 154.
  • the output device 156 performs output to devices such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp, for example. Further, the output device 156 may output sound such as a speaker and headphones.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 158 is a device for storing data.
  • the storage device 158 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 158 stores programs executed by the CPU 142 and various data.
  • the drive 160 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 100.
  • the drive 160 reads information recorded on a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 144.
  • the drive 160 can also write information to a removable storage medium.
  • connection port 162 is, for example, a bus for connecting to an information processing apparatus outside the information processing apparatus 100 or a peripheral device.
  • the connection port 162 may be a USB (Universal Serial Bus).
  • the communication device 164 is a communication interface configured as a communication device for connecting to a network, for example, as an example of the communication unit 16 of the information processing system 1. Further, the communication device 164 performs wired communication regardless of whether it is an infrared communication compatible device, a wireless LAN (Local Area Network) compatible communication device, or an LTE (Long Term Evolution) compatible communication device. It may be a wire communication device.
  • a wireless LAN Local Area Network
  • LTE Long Term Evolution
  • the number of relationships in which the face can be seen increases in the area, which is useful for local crime prevention and activation.
  • residents who are concerned about privacy are also assumed, in recent years, as SNS has become popular, there are many people who are not resistant to sharing daily life among limited parties. Sharing emotions such as emotions in a limited area, such as the region, is expected to help build and maintain social networks.
  • the output device 12 is not limited to the wall or fence of the house, and may be provided at the door, window, post, gate, etc., which is the boundary between indoor and outdoor, and the output device 12 is installed around the house. May be.
  • this technique can also take the following structures.
  • a detection unit that detects emotions of one or more persons indoors based on sensor data obtained by sensing an indoor state; When the emotion value of at least one of the detected emotions satisfies a predetermined condition, a control unit that controls to output a captured image obtained by capturing the indoor state to an outdoor display device;
  • An information processing system comprising: (2) When the tension or unpleasant emotion value detected by the detection unit exceeds a predetermined threshold value, the control unit outputs, together with the captured image, a display notifying that an emergency has occurred to the outdoor display device.
  • the information processing system according to (1), wherein the information processing system is controlled.
  • the controller is Recognizing and converting the indoor audio signal to text;
  • the control unit outputs biological information of a predetermined user together to the display device.
  • a detection unit that detects emotions of one or more persons indoors based on sensor data obtained by sensing an indoor state; When the detected emotion value satisfies a predetermined condition, a control unit that controls to output a captured image obtained by imaging the indoor state to an outdoor display device;
  • An information processing apparatus comprising: (10) Processor Detecting the emotion of one or more persons indoors based on sensor data sensing indoor conditions; When the detected emotion value satisfies a predetermined condition, controlling to output a captured image obtained by capturing the indoor state to an outdoor display device; Including an information processing method.
  • Computer A detection unit that detects emotions of one or more persons indoors based on sensor data obtained by sensing an indoor state; When the detected emotion value satisfies a predetermined condition, a control unit that controls to output a captured image obtained by imaging the indoor state to an outdoor display device; A program that functions as

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】物理的な接触には距離を置きつつも、屋内の様子を適宜外部に伝えて、防犯および防災と地域コミュニティの活性化を両立させることが可能な情報処理システム、情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、前記検知した感情のうち少なくともいずれかの人物の感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、を備える、情報処理システム。

Description

情報処理システム、情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
 従来のコミュニケーションとして最も多用されているものとして「言語」によるコミュニケーションがある(バーバルコミュニケーション)。言語によるコミュニケーションは情報伝達に優れ、例えば屋内での住人同士では言語によるコミュニケーションで感情を伝えることができる。一方、屋内の人物の感情を屋外に筒抜けにすることは防犯上も公衆道徳上も好ましくない。
 また、近年は地域コミュニティの衰退と共に防犯への意識が進んでおり、監視カメラの導入等、ホームセキュリティに関する様々な技術が提案されている。例えば下記特許文献1では、センサにより異常を検知すると、異常情報を警備会社のセンタ装置へ送信すると共に、ドアホンから音声や映像を出力して侵入者を威嚇したり異常事態を周辺住民へ報知するシステムが開示されている。
特開2006-200176号公報
 ここで、従来の「縁側」のような近隣住民とのインターフェースとなる物理的接触が可能な空間を家に設置することは、犯罪に対しての物理的なセキュリティホールであるとも言え、防犯上躊躇われるところである。そのため、近年は物理的にも社交的にも周辺住民との距離が広がり、地域コミュニティが衰退している。
 そこで、本開示では、物理的な接触には距離を置きつつも、屋内の様子を適宜外部に伝えて、防犯および防災と地域コミュニティの活性化を両立させることが可能な情報処理システム、情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、前記検知した感情のうち少なくともいずれかの人物の感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、を備える、情報処理システムを提案する。
 本開示によれば、屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、を備える、情報処理装置を提案する。
 本開示によれば、プロセッサが、屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知することと、前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御することと、を含む、情報処理方法を提案する。
 本開示によれば、コンピュータを、屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、として機能させる、プログラムを提案する。
 以上説明したように本開示によれば、物理的な接触には距離を置きつつも、屋内の様子を適宜外部に伝えて、防犯および防災と地域コミュニティの活性化を両立させることが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 第1の実施形態による情報処理システムの構成の一例を示すブロック図である。 第1の実施形態による動作処理を示すフローチャートである。 第2の実施形態による情報処理システムの構成の一例を示すブロック図である。 第2の実施形態による音声認識した文字列を追加する画像コンテンツの生成について説明する図である。 第2の実施形態による画像加工した撮像画像を用いた画像コンテンツの生成について説明する図である。 第3の実施形態による情報処理システムの構成の一例を示すブロック図である。 第3の実施形態による再生コンテンツに基づく画像コンテンツの生成について説明する図である。 第4の実施形態による情報処理システムの構成の一例を示すブロック図である。 第4の実施形態による複数の家の出力装置の連動について説明する図である。 第5の実施形態による情報処理システムの構成の一例を示すブロック図である。 第5の実施形態による屋外からの入力について説明する図である。 第6の実施形態による訪問医療に対応する画像コンテンツの表示例を示す図である。 本開示の一実施形態による情報処理システムにおける緊急事態発生時の動作処理を示すフローチャートである。 本実施形態によるパニック通知コンテンツの表示例を示す図である。 本実施形態による捜索願いの表示例を示す図である。 本開示にかかる情報処理装置のハードウェア構成を示した説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.本開示の一実施形態による情報処理システムの概要
 2.各実施形態
  2-1.第1の実施形態
  2-2.第2の実施形態
  2-3.第3の実施形態
  2-4.第4の実施形態
  2-5.第5の実施形態
  2-6.第6の実施形態
  2-7.第7の実施形態
 3.緊急時対応
 4.ハードウェア構成
 5.まとめ
 <<1.本開示の一実施形態による情報処理システムの概要>>
 まず、本開示の一実施形態による情報処理システムの概要について説明する。図1は、本開示の一実施形態による情報処理システムの概要を説明する図である。図1に示すように、本実施形態による情報処理システムは、家20の塀21に設けられた出力装置12に屋内の様子を表示することで、物理的な接触には距離を置きつつも、屋内の様子を適宜外部に伝えて、防犯および防災と地域コミュニティの活性化を両立させることを可能とする。
 出力装置12の設置場所は、塀21に限定されず、家20の壁面等、外部から視認できる場所であればよい。
 (背景)
 上述したように、近年は防犯への意識が進むとともに地域コミュニティが衰退している。例えば個人宅での監視カメラの導入が進んでいるが、監視カメラの導入は犯罪の抑止には効果的であっても、自身の猜疑心が露わになり近隣住民にとの関係が悪くなることが懸念される。住民同士が互いに猜疑心を持つようになると、地域コミュニティがさらに衰退してしまう。
 一方、従来の「縁側」のような、物理的接触が可能な隣家とのインターフェースを自宅に設置することは、犯罪に対しての物理的なセキュリティホールであるとも言え、防犯上躊躇われるところである。そのため、物理的にも社交的にも周辺住民との距離が広がりつつある。
 そこで、本実施形態では、図1を参照して説明したように、屋外に設けた出力装置12から適宜屋内の様子を外部に伝えることで、物理的な接触を避けつつ、防犯および防災と、地域コミュニティの活性化を両立させることを可能とする。
 以上、本実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムの各実施形態について図面を参照して説明する。
 <<2.各実施形態>>
 <2-1.第1の実施形態>
 まず、本開示の第1の実施形態による情報処理システム1-1について、図2~図3を参照して説明する。
 (2-1-1.構成)
 図2は、第1の実施形態による情報処理システム1-1の構成の一例を示すブロック図である。図2に示すように、情報処理システム1-1は、感情検知部10、制御部11a、および出力装置12を有する。
 感情検知部10は、屋内のユーザ感情を検知する機能を有する。例えば感情検知部10は、屋内に設置されたカメラにより撮像された撮像画像からユーザの顔画像を認識し、顔画像から(例えば笑顔度等)ユーザ感情を定量化してもよい。また、感情検知部10は、マイクロホンにより収音されたユーザ音声からユーザの発話内容、声色等を認識し、ユーザ感情を定量化することも可能である。また、感情検知部10は、生体センサにより検知されたユーザの生体情報(脈拍、心拍、発汗量、脳波、体温等)を認識し、ユーザ感情を定量化することも可能である。生体情報を用いた感情の解析の具体例としては、例えば特開2005-64839号公報に記載されているように、学習済み、またはユーザ個別に再学習を行った感情モデルを用いて、デジタル化された複数種類の生体情報から感情パラメータ値を求めてもよい。また、ユーザ感情をより精度良く認識するために、特開2007-41988号公報に記載されているように、ユーザの表情、ジェスチャー、声といった情報から特徴量を抽出してユーザ感情を予測し、さらにユーザが視聴しているコンテンツのメタ情報からユーザの感情を予測し、これら両者の予測結果に基づいてユーザの感情を認識してもよい。
 制御部11aは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム1-1内の動作全般を制御する。制御部11aは、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部11aは、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。本実施形態による制御部11aは、ホームネットワークに接続するホームエージェント等の情報処理装置により実現され、感情検知部10や出力装置12と別体であってもよい。
 また、本実施形態による制御部11aは、コンテンツ生成部111aとしても機能する。コンテンツ生成部111aは、感情検知部10により検知された屋内の人物の感情に応じて、出力装置12に出力するコンテンツを生成する。例えばコンテンツ生成部111aは、検知された感情が所定の閾値を上回った際に屋内で撮像された撮像画像に基づいて、図1に示すような壁新聞形態のコンテンツを生成してもよい。かかる撮像画像は、屋内に設置されたカメラで撮像されてもよいし、ユーザによりスマートフォンやハンディカム等で撮像されてもよい。また、撮像画像は静止画および動画のいずれであってもよい。
 出力装置12は、制御部11aの制御に従って、コンテンツ生成部111aにより生成されたコンテンツ(画像、音声等)を出力する。例えば出力装置12は、表示装置により実現される。表示装置は、例えば液晶ディスプレイ(LCD:Liquid CrystalDisplay)、有機EL(Electroluminescence)ディスプレイなどであってもよいし、近年開発されている電子ペーパーであってもよい。電子ペーパーは、表示において待機電力が実質0であって、「電子機器」でもあり、塀や壁に設置し得る「建材」としても有用である。本実施形態では、例えば塀や壁に巨大な電子ペーパーを出力装置12として設ける。
 (2-1-2.動作処理)
 続いて、本実施形態による情報処理システム1-1の動作処理について図3を参照して説明する。図3は、第1の実施形態による動作処理を示すフローチャートである。
 図3に示すように、まず、本実施形態による情報処理システム1-1は、感情検知部10により家屋内の人物の感情を検知する(ステップS103)。例えば感情検知部10は、屋内に設置されたカメラで継続的に撮影される屋内の人物の表情を解析し、各人物の感情を定量化する。
 次に、制御部11aは、感情検知部10により検知された感情の変動が一定値(所定の閾値)を超えたか否かを判断する(ステップS106)。若しくは、制御部11aは、検知された感情の値が所定値を超えたか否かを判断してもよい。また、各閾値は人物毎にそれぞれ設定してもよい。
 次いで、一定値を超えた場合(ステップS106/Yes)、制御部11aは、検知された感情値が予め設定された公開可能の範囲内であるか否かを判断する(ステップS109)。
 次に、公開可能の範囲内である場合(ステップS109/Yes)、コンテンツ生成部111aは、コンテンツを生成する(ステップS112)。例えば屋内のある人物の「喜び」の感情の変動が一定値を超え、かつ公開可能の範囲内である場合、コンテンツ生成部111aは、当該感情が検知された際に撮像された当該人物の撮像画像に基づいて、図1の出力装置12に示すような壁新聞形式の画像コンテンツ(例えば、見出し、日付、および撮像画像を含む新聞形式のレイアウト画像)を生成する。
 そして、制御部11aは、生成した画像コンテンツを出力装置12に出力し、出力装置12に前回の壁新聞が表示されている場合はこれを更新する(ステップS115)。
 一方、公開可能の範囲内ではなかった場合(ステップS109/No)、制御部11aはコンテンツの生成を行わず、壁新聞を更新せずに終了する。
 以上説明した動作処理を継続的若しくは定期的に繰り返し、屋内の人物の感情に応じて屋内の様子を適宜外部へ報知することが可能となる。近隣住民は、塀21の出力装置12に表示されている壁新聞を見て、この家の住人の最近の出来事を知ることができ、地域コミュニティの活性化に繋がる。
 なお、上述した情報処理システム1-1の動作処理は一例であって、本実施形態はこれに限定されない。例えば、情報処理システム1-1は、記念に残しておきたい場面をユーザが撮影した際の感情(撮影者または被写体の感情)を検知し、一定値を超えていた場合に当該撮影した画像に基づいて画像コンテンツを生成するようにしてもよい。また、情報処理システム1-1は、生成した画像コンテンツをユーザに提示し、ユーザにより承認された場合に出力装置12に出力するようにしてもよい。また、情報処理システム1-1は、生成した画像コンテンツをユーザに提示し、ユーザによる編集を可能としてもよい。この際、情報処理システム1-1は、インターフェースとしてユーザのスマートフォンやPC等の通信端末を用いてもよい。
 <2-2.第2の実施形態>
 以上説明した第1の実施形態では、画像コンテンツとして撮像画像をそのまま用いているが、本開示はこれに限定されず、撮像時の音声を文字にして追加したり、撮像画像を一部加工して用いてもよい。以下、本開示の第2の実施形態による情報処理システム1-2について、図4~図6を参照して説明する。
 (2-2-1.構成)
 図4は、第2の実施形態による情報処理システム1-2の構成の一例を示すブロック図である。図4に示すように、情報処理システム1-2は、感情検知部10、制御部11b、出力装置12、音声入力部13、および操作入力部14を有する。
 感情検知部10および出力装置12は、図2を参照して説明した第1の実施形態と同様である。
 音声入力部13は、家屋内に設けられたマイクロホンと、そのマイクロホンで得られた音声信号を増幅処理するマイクアンプ部と、音声信号にデジタル変換するA/D変換器により実現され、音声信号を制御部11bに出力する。
 操作入力部14は、ユーザによる操作入力を受付け、操作内容を制御部11bに出力する。操作入力部14は、屋内の表示部と一体的に設けられるタッチセンサ、圧力センサ、若しくは近接センサであってもよい。或いは、操作入力部14は、ボタン、スイッチ、またはレバーなど、物理的構成であってもよい。
 制御部11bは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム1-2内の動作全般を制御する。また、本実施形態による制御部11bは、コンテンツ生成部111b、音声認識部112、および画像加工部113として機能する。
 音声認識部112は、音声入力部13により収音された音声信号を認識し、文字列に変換する機能を有する。また、音声認識部112は、さらに文字列の構文解析や意味解析を行ってもよい。
 画像加工部113は、家屋内のカメラにより撮像された撮像画像の加工を行う機能を有する。例えば画像加工部113は、出力装置12で公開される撮像画像の一部を切り取ったり消したりすることが可能である。本実施形態による画像加工部113は、予め設定された加工を自動的に行ってもよいし、ユーザ操作に従って行ってもよい。
 コンテンツ生成部111bは、音声認識部112により認識された音声の文字列や画像加工部113で加工された撮像画像に基づいて、出力装置12に出力するコンテンツを生成することが可能である。
 (2-2-2.画像コンテンツ例)
 ここで、本実施形態により生成する画像コンテンツの一例について図5および図6を参照して説明する。
 図5は、第2の実施形態による音声認識した文字列を追加する画像コンテンツの生成について説明する図である。図5に示すように、例えば屋内のカメラ22で屋内の様子を撮像すると共に、音声入力部13で屋内の音声を収音している際に、撮像画像や音声に基づいてユーザ23Aやユーザ23Bの感情を継続的に検知する。次いで、例えばユーザ23Bが笑顔になって「喜び」の感情値の変動が一定値を超えた場合、コンテンツ生成部111bは、カメラ22で撮像したユーザ23Bの撮像画像に基づいて、壁新聞形式レイアウトの画像コンテンツ122を生成する。この際、感情値の変動が一定値を超えた際のユーザ23Bの発話音声「美味しい!」が音声入力部13で収音され、音声認識部112により文字列に変換される。
 コンテンツ生成部111bは、当該文字列を撮像画像に追加して画像コンテンツ122を生成することで、感情値が変動した際の状況をより詳しく近隣住民に報知することができる。なお画像コンテンツに追加する文字列は、感情値が変動した際に撮像された撮像画像の撮像タイミング前後に開始されたユーザの発話音声としてもよい。
 また、かかる文字列の配置方法は特に限定しないが、例えば撮像画像を顔認識して、撮像画像に写るユーザ23Bの顔の口部を検出し、口部周辺から吹き出し型にして文字列を表示してもよい。具体的には、図5に示す吹き出し画像123が相当する。
 図6は、第2の実施形態による画像加工した撮像画像を用いた画像コンテンツの生成について説明する図である。例えば家の中で撮像した撮像画像には、散らかっている部分や汚れている部分等、公開したくない部分も含まれる。例えば制御部11bは、図6に示す撮像画像60から、物体認識等により自動で、若しくはユーザの指示に基づいて、散らかっている部分や汚れている部分等の公開したくない部分31を特定する。次いで、画像加工部113は、かかる公開したくない部分31を消す加工、若しくは図6に示すような吹き出し125等で隠す加工を行い、公開したくない部分31を隠した画像コンテンツ124を生成することが可能となる。
 以上説明したように、第2の実施形態では、屋内の人物の感情に応じて屋内の様子を適宜外部へ報知する際に、発話音声に基づく文字列を画像に追加することで、より詳しく屋内の様子を報知することが可能となる。また、報知する撮像画像のうち、散らかっている部分や汚れている部分等、公開したくない部分は隠すことが可能となる。このように、本実施形態では、地域コミュニティをさらに活性化させ、また、ユーザビリティを向上させることが可能となる。
 <2-3.第3の実施形態>
 上述した各実施形態では、屋内に設置されたカメラやユーザのスマートフォン等からリアルタイムで撮像された撮像画像に基づいて感情の検知や画像コンテンツの生成を行っているが、本開示はこれに限定されない。例えば本開示による情報処理システム1は、コンテンツ再生装置と連動し、過去の撮像画像や録画映像等を視聴した際のユーザ感情を検知して、出力装置12に出力する画像コンテンツを生成してもよい。以下、このような本開示の第3の実施形態による情報処理システム1-3について、図7~図8を参照して説明する。
 (2-3-1.構成)
 図7は、第3の実施形態による情報処理システム1-3の構成の一例を示すブロック図である。図7に示すように、情報処理システム1-3は、感情検知部10、制御部11c、出力装置12、音声入力部13、操作入力部14、およびコンテンツ再生装置15を有する。
 感情検知部10、出力装置12、音声入力部13、および操作入力部14は、図4を参照して説明した第2の実施形態と同様である。
 コンテンツ再生装置15は、過去の撮像画像や録画映像等を再生する機能を有する。例えばコンテンツ再生装置15は、TV、レコーダー、スマートフォン、またはPC等により実現される。コンテンツ再生装置15は、必要に応じて再生中のコンテンツを制御部11cに出力する。
 制御部11cは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム1-3内の動作全般を制御する。また、本実施形態による制御部11cは、コンテンツ生成部111c、音声認識部112、および再生コンテンツ編集部114として機能する。
 音声認識部112は、図4を参照して説明した第2の実施形態と同様に、音声入力部13により収音された音声信号を認識し、文字列に変換したり、さらに文字列の構文解析や意味解析を行う機能を有する。
 再生コンテンツ編集部114は、コンテンツ再生装置15により再生されたコンテンツから抽出された内容に基づいて再生コンテンツの取捨選択やキャプションを入れる機能を有する。本実施形態では、例えばコンテンツ再生装置15で映画等のコンテンツが再生されている際に視聴しているユーザの感情値の変動が一定値を超えると、制御部11cは、当該ユーザが視聴していたコンテンツの内容をコンテンツ再生装置15から取得し、再生コンテンツ編集部114により再生コンテンツの編集を行う。
 編集された画像は、後述するように出力装置12に出力され、不特定多数に公開されるが、当該画像の公開が著作権上問題となる場合も懸念される。この場合、公開されることで一種の宣伝効果も得られることから、著作権者側から本情報処理システム1での利用許諾を得る仕組みを搭載していてもよい。著作権者側からコンテンツの利用許諾を得るシステムの詳細については特に限定しないが、例えば必要に応じて著作権者に許諾依頼を出したり、予め著作権者により本システムでの利用が許諾されていることをコンテンツのメタデータから取得するようにしてもよい。
 コンテンツ生成部111cは、再生コンテンツ編集部114で編集された画像に基づいて、出力装置12に出力するコンテンツを生成する。この際、コンテンツ生成部111cは、音声入力部13により入力され音声認識部112により認識された、当該再生コンテンツ視聴時のユーザ発話音声の文字列を追加してもよい。
 (2-3-2.画像コンテンツ例)
 ここで、本実施形態により生成する画像コンテンツの一例について図8を参照して説明する。
 図8は、第3の実施形態による再生コンテンツに基づく画像コンテンツの生成について説明する図である。図8に示す例では、塀21の出力装置12に、再生コンテンツに基づいて生成された画像コンテンツ126が表示されている。画像コンテンツ126には、再生コンテンツに基づいて生成された複数の画像コンテンツ126a~126dが壁新聞のようなレイアウトで配置されている。
 画像コンテンツ126aは、例えばユーザがコンテンツ再生装置15で映画を視聴中にユーザの感情(例えば「楽しい」「興奮」等)の変動が一定値を超えたため、当該映画から抽出された画像に基づいて、コンテンツ生成部111cにより生成されたものである。「昨晩の映画、最高!」というキャプションは、例えばユーザにより操作入力部14から任意に入力され得る。なお、例えば各種のSNSや、blog、ユーザが送信・公開したメール、チャット、メッセージといったものからの入力をこれに変えてもよい。
 画像コンテンツ126b~126dは、例えばユーザがコンテンツ再生装置15で過去に撮像した写真や動画を見ている際にユーザの感情(例えば「嬉しい」「楽しい」等)の変動が一定値を超えたため、当該写真や動画から抽出された画像に基づいて、コンテンツ生成部111cにより生成されたものである。「画伯!」、「祝!入学!」、「念願の自転車!」というキャプションは、例えばユーザにより操作入力部14から任意に入力され得る。
 以上説明した第3の実施形態では、屋内の人物がどのようなコンテンツを見て楽しんでいるのかを報知し、地域コミュニティをさらに活性化させることができる。
 <2-4.第4の実施形態>
 情報処理システム1により生成する画像コンテンツは、上述した例に限定されず、例えば撮像画像や発話音声に基づいてマンガ形式の画像コンテンツ(以下、マンガコンテンツとも称す)を生成してもよい。このような本開示の第4の実施形態による情報処理システム1-4について、以下図9~図10を参照して説明する。
 (2-4-1.構成)
 図9は、第4の実施形態による情報処理システム1-4の構成の一例を示すブロック図である。図9に示すように、情報処理システム1-4は、感情検知部10、制御部11d、出力装置12、音声入力部13、操作入力部14、および通信部16を有する。
 感情検知部10、出力装置12、音声入力部13、および操作入力部14は、図4、図7を参照して説明した上記実施形態と同様である。
 制御部11dは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム1-4内の動作全般を制御する。また、本実施形態による制御部11dは、コンテンツ生成部111dおよび音声認識部112としても機能する。
 コンテンツ生成部111dは、感情検知部10により検知されたユーザ感情の変動が一定値を超えた場合、屋内のカメラによる当該ユーザの撮像画像や、音声入力部13により収音し、音声認識部112により認識されたユーザ発話音声に基づいて、出力装置12に出力するマンガコンテンツを生成する。例えばコンテンツ生成部111dは、特開2008-305171号公報に記載されているマンガ自動作成方法を用いて、ユーザの感情をストーリーやキャラクターに反映させたマンガを生成することが可能である。より具体的には、例えばコンテンツ生成部111dは、撮像画像やユーザ発話音声に基づくテキストを構成している文章の長さに応じた種類のフレーム(マンガのページを構成する各コマに用いられる複数パターンの表示枠に対応したフレーム)を決定する。次いで、コンテンツ生成部111dは、ユーザの感情に応じて、コマに配置するキャラクターの表情(例えば撮像画像から切り出したユーザの顔画像)および吹き出し枠を決定する。そして、コンテンツ生成部111dは、決定したフレーム、キャラクターの表情(撮像画像)、および吹き出し枠を合成し、テキストを吹出し枠の中に配置してコマを作成する。
 また、コンテンツ生成部111dは、屋内のカメラやユーザのスマートフォン等により撮像された動画のメタデータに基づいて、当該動画を要約した動画コンテンツを生成することも可能である。動画の要約方法は、例えば特開2012-249156号公報や特開2013-25748号公報に記載されているような、対象物が登場する区間を示す区間メタデータを利用して行う方法であってもよい。若しくは、動画の要約方法は、特開2009-159330号公報に記載されているような、撮像画像の特徴量に基づいて適宜履歴画像(時間軸において前に位置する撮像画像)に合成する方法であってもよい。そして、コンテンツ生成部111dは、このように要約した動画をマンガ化したコンテンツを生成し得る。
 コンテンツ生成部111dは、生成したマンガコンテンツを出力装置12に出力して周辺住民に報知する。生成したマンガコンテンツが出力装置12の表示領域では足りない場合、情報処理システム1-4は、続きを隣家や近隣の塀に設置された出力装置から表示するようにしてもよい。
 通信部16は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部16は、例えば有線LAN(Local Area Network)、無線LAN、Wi-Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。本実施形態による通信部16は、例えばコンテンツ生成部111dにより生成されたマンガコンテンツ等を他の家の情報処理システム1に送信したり、他の家の情報処理システム1からマンガコンテンツ等を受信する。
 (2-4-2.マンガコンテンツの表示例)
 ここで、マンガコンテンツの続きを隣家の塀に表示する場合について図10を参照して説明する。図10は、本実施形態による複数の家の出力装置の連動について説明する図である。
 図10では、例えば情報処理システム1-4Aが、家20A内の人物の感情を検知し、感情値の変動が一定値を超える場合、当該感情を検知した際に撮像した撮像画像(静止画、動画)や収音したユーザ音声に基づいてマンガコンテンツを生成し、外部の塀21Aの出力装置12Aに表示する。この時、情報処理システム1-4Aは、マンガコンテンツが家20Aの出力装置12Aの表示領域で足りなければ所定の近隣の家20Bの情報処理システム1-4Bにアクセスしてマンガコンテンツを送信し、図10に示すように近隣の家20Bの塀21Bに設けられている出力装置12Bで続きのマンガコンテンツを表示するよう制御する。
 以上説明したように、本実施形態では、塀21の出力装置12にマンガ化したコンテンツを表示することで、屋内の人物の感情や出来事を、より分かりやすく周囲に報知することができる。
 <2-5.第5の実施形態>
 上述した各実施形態では、屋内の人物の感情や様子を出力装置12から周囲に一方的に報知しているが、本開示はこれに限定されず、例えば屋外からの入力を可能とすることで、地域コミュニケーションのためのインフラとしての存在意義を高めることが可能となる。このような本開示の第5の実施形態による情報処理システム1-5について、以下図11~図12を参照して説明する。
 図11は、本実施形態による情報処理システム1-5の構成の一例を示すブロック図である。図11に示すように、情報処理システム1-5は、感情検知部10、制御部11e、出力装置12、音声入力部13、操作入力部14、および入力装置17を有する。
 感情検知部10、出力装置12、音声入力部13、および操作入力部14は、図4、図7、図9を参照して説明した上記各実施形態と同様である。
 入力装置17は、出力装置12に表示された画像コンテンツへのコメントや書き込みを受け付ける機能を有する。例えば入力装置17は、出力装置12の表示画面上に設けられ、ペン状のアタッチメントや指等により接触/近接/非接触入力を受け付ける。また、入力装置17は、出力装置12周辺に設けられたマイクにより屋外の人物の音声を収音し、音声入力を受け付けてもよい。なお音声入力の場合、明示的な入力開始操作があった場合に音声入力を受け付けるようにしてもよい。例えば入力装置17は、出力装置12に表示する壁新聞画像のうちいずれか1ヶ所が押さえられていることをタッチセンサ等により検知した場合に、音声入力を受け付けるようにしてもよい。
 制御部11eは、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム1-5内の動作全般を制御する。また、本実施形態による制御部11eは、コンテンツ生成部111e、音声認識部112、および画像加工部113としても機能する。
 コンテンツ生成部111eは、出力装置12に出力する画像コンテンツを生成する。また、コンテンツ生成部111eは、入力装置17を介して入力されたコメントや書き込みを画像コンテンツに反映させて出力装置12に出力する。ここで、図12に、本実施形態による屋外からの入力について説明する図を示す。図12に示すように、情報処理システム1-5は、屋外の塀21に設けられた出力装置12と一体化された入力装置17(例えば書き込み可能な電子ペーパー)を有する。かかる情報処理システム1-5は、入力装置17により、出力装置12に表示した画像コンテンツに対する書き込みを受け付け、図12に示すように画像コンテンツ上に書き込みを表示する(若しくは、制御部11eの制御に寄らず、電子ペーパー上で書き替えを可能としてもよい)。これにより、出力装置12に表示され報知された内容に対する周辺住民の応答を得ることができる。書き込まれる内容は電子的に入力、表示されるものであるため、内容が迷惑なものであったり、公序良俗に反したり、誹謗中傷に該当するようなものである場合、自動的にまたはユーザによる検閲を入れて、非表示にするようにすることもできる。また、屋外の人物も利用できる「消去機能」を入力装置17と共に併設することで、「不適切な情報」はサイレントマジョリティによって駆逐されることが期待できる。
 また、コンテンツ生成部111eは、出力装置12の表示画面のうちいずれか1ヶ所が押さえられていることをトリガとして入力装置17により音声入力を受け付けた場合、押さえられている個所に、音声認識した文字列を表示するようにしてもよい。
 以上説明したように、本実施形態によれば、屋内の人物の感情や様子を一方的に周辺住民に報知するだけではなく、周辺住民からの反応を得ることで、双方向コミュニケーションを実現することができる。このように、壁型の出力装置12を、周辺住民との「次世代の縁側」、または「リアルな地域SNSツール」として利用することができるようになる。なお入力装置17は上述した例に限定されず、例えばカメラにより実現され、撮像画像を入力できるようにしてもよい。また、監視カメラを併設して、書き込みを行っている人物の顔画像を記録してもよい。
 また、出力装置12に表示されている画像コンテンツに関係ない内容であっても、地域住民の知識交換のために様々な情報が書き込まれることも想定される。屋外の壁型の出力装置12および入力装置17が、自由に書き込みができる掲示板として用いられる。この際、離れた場所に設置されている他の出力装置(他の家の塀に設けられている出力装置等)にも連動して書き込み内容が表示されるようにしてもよい(同期制御)。これにより、例えば地域における不審者情報の共有等が可能となる。また、この際、入力装置17から出力先を任意に指定することも可能である。
 <2-6.第6の実施形態>
 上記第5の実施形態のように、屋外からのインタラクティブな入力が可能となると、書き換え頻度が高くなり、電力消費が大きくなる。そこで、例えば書き換えを局所化することで、省電力効果を得るようにしてもよい。
 例えば出力装置12と入力装置17が一体化された入出力装置として電子ペーパーを用いる場合、複数の電子ペーパーを並べて巨大な電子ペーパーを形成し、入力があった領域だけ書き替えるようにしてもよい。また、入出力装置としてFPD(Flat Panel Display)を用いる場合、FPDにおけるLEDバックライトの低消費制御として、入力可能な部分を一部に局所化(書き換えOFFの部分はバックライトを消す等)してもよい。
 また、このように書き換え電力を最小化することで、例えば太陽電池等のエナジーハーベストで入手したエネルギーでも十分に入出力装置を動作させることが可能となる。
 エナジーハーベストの例としては、太陽電池の他、例えば塀21の前の道路を通る車両等の振動によって電力を発生するモジュールを設け、入出力装置の自立した電源系を確立してもよい。この場合、例えば制御部11は、電力が溜まった場合に入出力装置に表示する壁新聞等の画像コンテンツを更新するようにしてもよい。また、手回し充電器を併設して、書き込みを行いたい人自ら電力を供給させるようにしてもよい。
 <2-7.第7の実施形態>
 屋外に屋内の様子や感情を報知することは、上述した地域コミュニティの活性化の他、地域医療や独居老人対策にも有用である。
 例えば、医療行為の中心は、診療所・病院などの医療機関であるが、今後の超高齢化社会を迎えるに当たり、医療資源のひっ迫は必然であり、訪問医療や在宅医療への切り替えが重要となる。しかし、こうした訪問医療において、各家庭を訪問し、全ての家庭を往診していると、一人の医療者が見られる人数が少なくなってしまう。そうすると、各患者の往診間隔が空いてしまい、重篤な状況にまで進行してからの往診になってしまう可能性がある。
 一方、本開示による情報処理システム1を応用して、屋内に入らずとも屋内の人物のおおよその様子が道すがらに観察できるようになっていれば、往診の合間に地域の対象者を観察することができ、屋内に入ってまで往診・介護をする必要があるかないかを事前に判断することができる。以下、図13を参照して説明する。
 図13は、本実施形態による訪問医療に対応する画像コンテンツの表示例を示す図である。図13に示すように、例えば屋内の人物の生体情報(体温、血圧、発汗量、運動量、心拍、脈拍等)や健康情報(睡眠時間、摂取カロリー、食事の時間等)、医療行為(服薬内容、服薬有無、処置内容)が取得され、塀21の出力装置12に表示されると、医療者24は家の前を通る際に基本的な生体情報等を確認し、往診の有無を判断する。かかる生体情報や健康情報は、屋内のユーザが装着するウェアラブル装置により自動的に検知され、制御部11に送信されてもよいし、自宅で血圧計等をユーザが利用した場合に、当該血圧計等からホームネットワークを介して制御部11に送信されてもよい。また、このうち、医療行為などの限られた人にしか公開すべきでない情報については、見る資格のある対象者が、パスワードやカードタッチ、生体認証など、しかるべき方法で認証されたときにのみ表示されるようにしてもよい。
 また、高齢者以外にも、各種の生体センサなどの情報に基づいて、医療による介入が必要であると制御部11により判断された場合に、医療機関に通知したり、未病の状態を観察する機会を得ることにも繋がる。
 また、昨今では、縁側などが当たり前だった数十年前に比べ、マンションなどで顔の見えない関係が増えている。そこに超高齢化社会が加わることで、独居老人問題も増加する。最悪の場合、孤独死に繋がり、発見されるまで時間がかかるといった事態も生じている。
 これに対し、本実施形態のような情報処理システム1によれば、屋内の感情や様子を外部に報知することで、独居老人や孤立家庭、“孤”育て家庭などに対しての周辺住民との(相互)扶助に役立てることができる。
  <<3.緊急時対応>>
 <3-1.パニック検知>
 本実施形態による情報処理システム1は、以上説明した各実施形態において、平常時には地域コミュニケーションを活性化させることが可能となる。一方、屋内で緊急事態が発生した場合は緊急事態を周辺に報知し得る。以下、このような緊急時対応について図14~図16を参照して説明する。
 図14は、本実施形態の情報処理システム1による緊急事態発生時の動作処理を示すフローチャートである。図14に示すように、まず、情報処理システム1は、感情検知部10により家屋内の人物の感情の変動を検知する(ステップS203)。
 次に、家屋内で誰かの緊張および不快の感情の変動が一定値を超えた場合(ステップS206/Yes)、制御部11は、屋内で火災や犯罪などの緊急事態(パニック状態)が起きている可能性が高いと判断できる。なお制御部11は、緊張および不快の値の総和、またはいずれか一方、若しくは加重加算値が一定値を超えたか否かに基づいてパニック状態の判定を行ってもよい。
 続いて、かかるパニック状態が一定時間を経過した後も継続していた場合(ステップS209/Yes)、制御部11は、パニック通知コンテンツを生成し、出力装置12の壁新聞画像を更新する(ステップS212)。この際、制御部11は、出力装置12から警告音を流してもよい。パニック通知コンテンツは、例えばパニック中であることを示す表示と、パニック状態と判定された人物周辺の撮像画像を含む画像コンテンツである。ここで、図15に、本実施形態によるパニック通知コンテンツの表示例を示す。図15の上段に示すように、平常時は第1~第7の実施形態で説明したような壁新聞画像コンテンツが塀21の出力装置12に表示される。一方、屋内でのパニックが検知された場合、図15の下段に示すように、パニックであることを示す表示とパニック状況の撮像画像を含むパニック通知コンテンツに更新される。これにより、家の前を通る周辺住民に屋内でパニックが続いてることを知らせることができる。
 なお本実施形態では、パニックを検知した後、一定時間そのパニック状態が継続している場合に、出力装置12から外部にパニックを周知している。これにより、一時的にパニックが検知されたとしても屋内の人物が自ら対処出来て落ち着いた場合には外部に周知されないようにすることができる。
 次いで、さらに予め設定した一定時間が経過してもパニック状態が継続する場合(ステップS215/Yes)、制御部11は、パニック通知コンテンツを1つ隣の家の壁(具体的には壁に設置された出力装置)にも表示するよう制御する(ステップS218)。制御部11は、パニック状態が継続する限り上記ステップS215およびステップS218を繰り返し、2つ隣の家、さらにその隣の家・・・と、パニック状態が長引くほど近隣の家の情報処理システムと連動して周知範囲を広げていく。なおこの連鎖は可能なだけ続けてもよいし、所定の範囲で留めてもよい。
 そして、パニック状態が解けた場合(ステップS209/No、ステップS215/No)、制御部11は、出力装置12からは通常時の表示(パニック通知コンテンツに切り換えている場合は元に戻す制御)を行う(ステップS221)。
 以上説明したように、本実施形態による情報処理システム1では、緊急時にはパニック通知コンテンツを出力装置12に表示し、異常事態であることを周辺に報知することができる。なお、図14に示す動作処理では、パニック検知時の対応として出力装置12からの報知のみを説明したが、本実施形態はこれに限定されず、例えばパニック状態の度合いや継続時間に応じて、第1段階として登録された家族宛にパニック通知を行い、第2段階として出力装置12から外部に報知し、第3段階として所定の公的機関(消防、警察、病院等)に通知するようにしてもよい。なお、パニック検知時に限らず、火災報知機との連動時や、その他外部の有資格者(居住者や、その家に入る資格のあるもの、また警備会社、警察、消防、自治体関係者)からしかるべきトリガーがかかった際に、こうした表示を行うようにしてもよい。
 <3-2.捜索周知>
 また、本実施形態による情報処理システム1は、屋内での突発的な異常事態を自動的に検知して報知することに限定されず、ユーザ自ら、もしくはユーザから適切な権限移譲を受けた者(介護者や、警備会社、近隣の住民、警察、自治体関係者など)が操作入力部14から緊急事態であることを入力して出力装置12から周辺住民に報知することも可能である。
 例えば、昨今、超高齢化社会への移行に伴い、認知症が増加している。そうなると、認知症の老人の徘徊が問題となる。実際、地域での防災無線では、火災や地震などへの放送の他、行方不明の高齢者に関する放送も多い。地域の防災無線は音声による放送であるが、詳細な特徴を伝えることが難しい。また、防災無線で放送してもらうまでには時間がかかり、その分だけ徘徊を始めてからの時間が長くなり、捜索範囲が広がってしまう。
 そこで、本実施形態の情報処理システム1によれば、例えば図16に示すように、自宅から行方不明になった高齢者の捜索願いをすぐに家の外の塀21の出力装置12に表示して近隣に周知することができる。この際、高齢者の撮像画像も表示することで、特徴を視覚的に周知することができ、捜索に役立たせることができる。
 また、上述した第1~第7の実施形態により普段から対象となる高齢者や家の住人の様子が周辺住民に明らかになっていれば、高齢者が自宅から不自然な形(靴を履いていないなど)で外出していることに近隣の知り合いがすぐに気付いて行方不明を未然に防ぐことが期待できる。
 また、本実施形態による情報処理システム1は、特開2016-6612号公報や特開2016-6611号公報に記載されているような、各種センサと行動認識技術を用いて高齢者の徘徊に対してさらに移動軌跡を出力装置12に表示して捜索の役に立てることが可能である。
 以上説明したように、本実施形態によれば、異常時においてパニック状態に対応したり、認知症等による徘徊の対策を実現することができる。
  <<4.ハードウェア構成>>
 以上、本開示の実施形態を説明した。上述した感情検知部10、制御部11、音声入力部13、操作入力部14、および通信部16は、情報処理装置100において、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
 図17は、本開示に係る情報処理装置100のハードウェア構成を示した説明図である。図17に示したように、情報処理装置100は、CPU(Central Processing Unit)142と、ROM(Read Only Memory)144と、RAM(Random Access Memory)146と、ブリッジ148と、バス150と、インターフェース152と、入力装置154と、出力装置156と、ストレージ装置158と、ドライブ160と、接続ポート162と、通信装置164とを備える。
 CPU142は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置100内のコンテンツ生成部111、音声認識部112、画像加工部113、および再生コンテンツ編集部114の動作を実現する。また、CPU142は、マイクロプロセッサであってもよい。ROM144は、CPU142が使用するプログラムまたは演算パラメータ等を記憶する。RAM146は、CPU142の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ROM144およびRAM146により、情報処理システム内の記憶部(不図示)の一部を実現する。CPU142、ROM144およびRAM146は、CPUバスなどから構成される内部バスにより相互に接続されている。
 入力装置154は、情報処理システム1の感情検知部10、音声入力部13、および操作入力部14の一例として、例えば、カメラ、マウス、キーボード、タッチパネル、ボタン、マイクロホン、各種センサ(加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、生体センサなど)、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびカメラの撮像またはユーザによる入力に基づいて入力信号を生成し、CPU142に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、入力装置154を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置156は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプなどの装置への出力を行う。さらに、出力装置156は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
 ストレージ装置158は、データ格納用の装置である。ストレージ装置158は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置158は、CPU142が実行するプログラムや各種データを格納する。
 ドライブ160は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ160は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM144に出力する。また、ドライブ160は、リムーバブル記憶媒体に情報を書込むこともできる。
 接続ポート162は、例えば、情報処理装置100の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート162は、USB(Universal Serial Bus)であってもよい。
 通信装置164は、情報処理システム1の通信部16の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置164は、赤外線通信対応装置であっても、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
  <<4.まとめ>>
 上述したように、本開示の実施形態による情報処理システム1では、物理的な接触には距離を置きつつも、屋内の様子を適宜外部に伝えて、防犯および防災と地域コミュニティの活性化を両立させることを可能とする。
 本実施形態によれば、地域で顔の見える関係が増えることとなり、地域の防犯や活性化に役立つようになる。プライバシーを懸念する住民も想定されるが、近年はSNSが流行しているように、限られた関係者間において日常生活を共有することに抵抗のない人々が多い。地域のような限られた範囲において、自分の生活における喜怒哀楽といった感情を共有することは、社会的なネットワークを構築・維持することに役立つことが期待される。
 また、このように地域コミュニティが活性化されると、日常生活で問題が起きた時や困った時に周辺住民が良き相談相手となる。例えば近年、オレオレ詐欺をはじめとして、個人、特に孤立した老人を狙った犯罪が増加の一途をたどっている。これに対して、当初はATMや銀行窓口などによる集中的な水際作戦で被害を防ごうとしていたが、現在は自宅にまで直接お金を受け取りに来たり等、詐欺における金銭のやり取りが個別化、分散化している。このような場合には、地域の社会的なネットワークの強化が抑止力となる。また、このような詐欺被害が増加している背景には、身内の不祥事に対して親身になってくれる相談相手がいないことも要因の一つとして挙げられる。本実施形態によれば、地域コミュニティの向上により、このような詐欺被害への抑止力となることが期待される。
 また、地域コミュニケーションが乏しいところでは、弱みに付け込まれるリスクを恐れて、社会的に弱い立場の人間ほど自身の情報を隠すようになる。生命の危機に瀕した場合には公的扶助が入るが、人口ピラミッドが逆ピラミッドになり、社会的弱者(社会保障費がかかるという意味で)側の方が人数が多くなる肩車型社会においては、公的扶助が行き届かない場合が危惧される。このような社会においては地域コミュニティの再醸成が急務であって、上述したような個別の犯罪・徘徊などへの対策だけでなく、地域のコミュニティが醸成されることで、地域の結束を高め、セキュリティ効果の他、住民によるイベントの企画や、共同購入によるよりよいインフラの導入等、地域全体での様々な生活改善の効果が期待される。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上述した情報処理システム1に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理システム1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
 また、出力装置12は、家の壁や塀に限定されず、屋内と屋外の境界である玄関のドア、窓、ポスト、門扉等に設けてもよいし、出力装置12を家の周辺に設置してもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、
 前記検知した感情のうち少なくともいずれかの人物の感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、
を備える、情報処理システム。
(2)
 前記制御部は、前記検知部により検知された緊張または不快の感情値が所定の閾値を上回る場合、前記撮像画像と共に、緊急事態である旨を通知する表示を前記屋外の表示装置に出力するよう制御する、前記(1)に記載の情報処理システム。
(3)
 前記制御部は、前記緊張または不快の感情値が閾値を上回る状態が所定時間継続した場合、所定の通知先へ通知するよう制御する、前記(2)に記載の情報処理システム。
(4)
 前記検知部は、センサデータとして屋内の様子を撮像した撮像画像に基づいて感情を検知する、前記(1)~(3)のいずれか1項に記載の情報処理システム。
(5)
 前記制御部は、周囲の家屋の屋外の表示装置にも前記屋内の様子を撮像した撮像画像を連動して出力するよう制御する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(6)
 前記制御部は、
 前記屋内の音声を収音した音声信号を認識してテキストに変換し;
 前記撮像画像と共に、前記変換したテキストを表示するよう制御する、前記(1)~(5)のいずれか1項に記載の情報処理システム。
(7)
 前記制御部は、前記屋内の様子を撮像した撮像画像を加工して前記表示装置に出力する、前記(1)~(6)のいずれか1項に記載の情報処理システム。
(8)
 前記制御部は、所定ユーザの生体情報を併せて前記表示装置に出力する、前記(1)~(7)のいずれか1項に記載の情報処理システム。
(9)
 屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、
 前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、
を備える、情報処理装置。
(10)
 プロセッサが、
 屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知することと、
 前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御することと、
を含む、情報処理方法。
(11)
 コンピュータを、
 屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、
 前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、
として機能させる、プログラム。
 1、1-1~1-5 情報処理システム
 10 感情検知部
 11、11a~11e 制御部
 12 出力装置
 13 音声入力部
 14 操作入力部
 15 コンテンツ再生装置
 16 通信部
 17 入力装置
 20 家
 21 塀
 22 カメラ
 100 情報処理装置
 111、111a~111e コンテンツ生成部
 112 音声認識部
 113 画像加工部
 114 再生コンテンツ編集部

Claims (11)

  1.  屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、
     前記検知した感情のうち少なくともいずれかの人物の感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、
    を備える、情報処理システム。
  2.  前記制御部は、前記検知部により検知された緊張または不快の感情値が所定の閾値を上回る場合、前記撮像画像と共に、緊急事態である旨を通知する表示を前記屋外の表示装置に出力するよう制御する、請求項1に記載の情報処理システム。
  3.  前記制御部は、前記緊張または不快の感情値が閾値を上回る状態が所定時間継続した場合、所定の通知先へ通知するよう制御する、請求項2に記載の情報処理システム。
  4.  前記検知部は、センサデータとして屋内の様子を撮像した撮像画像に基づいて感情を検知する、請求項1に記載の情報処理システム。
  5.  前記制御部は、周囲の家屋の屋外の表示装置にも前記屋内の様子を撮像した撮像画像を連動して出力するよう制御する、請求項1に記載の情報処理システム。
  6.  前記制御部は、
     前記屋内の音声を収音した音声信号を認識してテキストに変換し;
     前記撮像画像と共に、前記変換したテキストを表示するよう制御する、請求項1に記載の情報処理システム。
  7.  前記制御部は、前記屋内の様子を撮像した撮像画像を加工して前記表示装置に出力する、請求項1に記載の情報処理システム。
  8.  前記制御部は、所定ユーザの生体情報を併せて前記表示装置に出力する、請求項1に記載の情報処理システム。
  9.  屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、
     前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、
    を備える、情報処理装置。
  10.  プロセッサが、
     屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知することと、
     前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御することと、
    を含む、情報処理方法。
  11.  コンピュータを、
     屋内の様子をセンシングしたセンサデータに基づいて屋内の1以上の人物の感情を検知する検知部と、
     前記検知した感情値が所定の条件を満たす場合、前記屋内の様子を撮像した撮像画像を屋外の表示装置に出力するよう制御する制御部と、
    として機能させる、プログラム。
PCT/JP2017/015167 2016-07-21 2017-04-13 情報処理システム、情報処理装置、情報処理方法、およびプログラム WO2018016142A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/315,214 US10685551B2 (en) 2016-07-21 2017-04-13 Information processing system, information processing apparatus, and information processing method
JP2018528406A JP6922911B2 (ja) 2016-07-21 2017-04-13 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US16/849,167 US11011044B2 (en) 2016-07-21 2020-04-15 Information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016143537 2016-07-21
JP2016-143537 2016-07-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/315,214 A-371-Of-International US10685551B2 (en) 2016-07-21 2017-04-13 Information processing system, information processing apparatus, and information processing method
US16/849,167 Continuation US11011044B2 (en) 2016-07-21 2020-04-15 Information processing system, information processing apparatus, and information processing method

Publications (1)

Publication Number Publication Date
WO2018016142A1 true WO2018016142A1 (ja) 2018-01-25

Family

ID=60991999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/015167 WO2018016142A1 (ja) 2016-07-21 2017-04-13 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (2) US10685551B2 (ja)
JP (1) JP6922911B2 (ja)
WO (1) WO2018016142A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181287A1 (ja) * 2021-02-25 2022-09-01 日本電気株式会社 画像蓄積装置、方法及び非一時的なコンピュータ可読媒体
WO2023195075A1 (ja) * 2022-04-05 2023-10-12 三菱電機株式会社 警告装置、警告システム、警告方法、及び警告プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7371595B2 (ja) * 2020-09-15 2023-10-31 横河電機株式会社 装置、システム、方法およびプログラム
JP2022101808A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 情報取得支援装置、情報取得支援方法、及び、情報取得支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09276237A (ja) * 1996-04-18 1997-10-28 Matsushita Electric Ind Co Ltd 監視装置
JP2002300602A (ja) * 2001-04-02 2002-10-11 Sony Corp 窓状撮像表示装置及びそれを使う双方向通信方法
JP2006254222A (ja) * 2005-03-11 2006-09-21 Olympus Imaging Corp 画像表示装置、画像表示システム、カメラおよび画像表示装置の表示方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629890B2 (en) * 2003-12-04 2009-12-08 Hoana Medical, Inc. System and methods for intelligent medical vigilance with bed exit detection
WO2005033832A2 (en) * 2003-08-28 2005-04-14 University Of Maryland, Baltimore Techniques for delivering coordination data for a shared facility
US20060111620A1 (en) * 2004-11-23 2006-05-25 Squilla John R Providing medical services at a kiosk
JP4404206B2 (ja) 2005-01-19 2010-01-27 積水ハウス株式会社 電動式ドアクローザー
US20150070319A1 (en) * 2013-09-09 2015-03-12 Timothy R. Pryor Human interfaces for homes, medical devices and vehicles
US20100253504A1 (en) * 2009-04-03 2010-10-07 Lliteras Anthony J Method for wirelessly monitoring the presence or absence of one or more persons and associated person monitoring system
US8516514B2 (en) * 2009-10-15 2013-08-20 At&T Intellectual Property I, L.P. System and method to monitor a person in a residence
US8390462B2 (en) * 2009-10-15 2013-03-05 At&T Intellectual Property I, L.P. System and method to monitor a person in a residence with use of a set-top box device
JP5682203B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
JPWO2012070428A1 (ja) * 2010-11-24 2014-05-19 日本電気株式会社 感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラム
WO2013163090A1 (en) * 2012-04-23 2013-10-31 Sackett Solutions & Innovations, LLC Cognitive biometric systems to monitor emotions and stress
US9583100B2 (en) * 2012-09-05 2017-02-28 GM Global Technology Operations LLC Centralized speech logger analysis
US20140344205A1 (en) * 2013-05-15 2014-11-20 Aliphcom Smart media device ecosystem using local and remote data sources
US20140347181A1 (en) * 2013-05-21 2014-11-27 Michael Edward Smith Luna Sensor-enabled media device
DE112014006082T5 (de) * 2013-12-25 2016-10-27 Asahi Kasei Kabushiki Kaisha Pulswellenmessvorrichtung, Mobilvorrichtung, medizinisches Ausrüstungssystem und biologisches Informations-Kommunikationssystem
US9704205B2 (en) * 2014-02-28 2017-07-11 Christine E. Akutagawa Device for implementing body fluid analysis and social networking event planning
WO2015135593A1 (en) * 2014-03-14 2015-09-17 Massineboecker Gmbh A method for controlling an individulized video data output on a display device and system
KR101994291B1 (ko) * 2014-10-14 2019-06-28 한화테크윈 주식회사 통합써머리를 제공하는 영상재생장치 및 방법
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치
US20180173964A1 (en) * 2015-06-17 2018-06-21 Memo Robotek Inc. Methods and devices for intelligent information collection
US10120939B2 (en) * 2015-12-16 2018-11-06 At&T Intellectual Property I, L.P. Detecting and using mood-condition affinities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09276237A (ja) * 1996-04-18 1997-10-28 Matsushita Electric Ind Co Ltd 監視装置
JP2002300602A (ja) * 2001-04-02 2002-10-11 Sony Corp 窓状撮像表示装置及びそれを使う双方向通信方法
JP2006254222A (ja) * 2005-03-11 2006-09-21 Olympus Imaging Corp 画像表示装置、画像表示システム、カメラおよび画像表示装置の表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181287A1 (ja) * 2021-02-25 2022-09-01 日本電気株式会社 画像蓄積装置、方法及び非一時的なコンピュータ可読媒体
WO2023195075A1 (ja) * 2022-04-05 2023-10-12 三菱電機株式会社 警告装置、警告システム、警告方法、及び警告プログラム
JP7490159B2 (ja) 2022-04-05 2024-05-24 三菱電機株式会社 警告装置、警告システム、警告方法、及び警告プログラム

Also Published As

Publication number Publication date
JP6922911B2 (ja) 2021-08-18
JPWO2018016142A1 (ja) 2019-05-09
US11011044B2 (en) 2021-05-18
US20200242911A1 (en) 2020-07-30
US20190156650A1 (en) 2019-05-23
US10685551B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
US11011044B2 (en) Information processing system, information processing apparatus, and information processing method
US20200193615A1 (en) Computer vision based monitoring system and method
KR100838099B1 (ko) 수시 도움을 요구하는 독거인을 모니터링하기 위한 자동시스템
US8606316B2 (en) Portable blind aid device
JP4682217B2 (ja) 行動制御装置、方法、プログラム
CN110139598A (zh) 监控和跟踪***、方法、物品和设备
CN104867309A (zh) 一种中老龄人安康服务智能穿戴设备及深度学习方法
US11195408B1 (en) Sending signals for help during an emergency event
CN103561652A (zh) 用于辅助患者的方法和***
JP2004213623A (ja) 健康管理及び個人セキュリティのための画像生成方法、及び画像生成システム
CN108924612A (zh) 一种艺术智能电视装置
CN109255064A (zh) 信息搜索方法、装置、智能眼镜及存储介质
CN110096251A (zh) 交互方法及装置
US10848711B2 (en) Communication system for use with protected persons
JP2020522828A (ja) コンピュータービジョンベースの監視システムおよび方法
KR102228066B1 (ko) 인지 장애인 돌봄 서비스 방법 및 시스템
Cao et al. An event-driven context model in elderly health monitoring
KR102188076B1 (ko) 노년층 피보호자를 모니터링하기 위한 IoT 기술을 이용하는 방법 및 그 장치
CN107016224A (zh) 用于老年保健陪伴的Nounou智能监护装置
WO2022091493A1 (ja) プログラム、情報処理装置及び方法
Xefteris et al. Case-based approach using behavioural biometrics aimed at Assisted Living
KR101481996B1 (ko) 행동기반 실감영상환경 제어 시스템
TWI712919B (zh) 智慧對講系統及其使用方法
CN112102528A (zh) 显示控制方法及装置、智能舱
Sydney-Smith Endless interrogation: Prime Suspect deconstructing realism through the female body

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018528406

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17830662

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17830662

Country of ref document: EP

Kind code of ref document: A1