WO2016136104A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2016136104A1
WO2016136104A1 PCT/JP2015/085377 JP2015085377W WO2016136104A1 WO 2016136104 A1 WO2016136104 A1 WO 2016136104A1 JP 2015085377 W JP2015085377 W JP 2015085377W WO 2016136104 A1 WO2016136104 A1 WO 2016136104A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
content
information processing
context information
Prior art date
Application number
PCT/JP2015/085377
Other languages
English (en)
French (fr)
Inventor
吉洋 中西
亮 向山
英行 松永
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017501873A priority Critical patent/JPWO2016136104A1/ja
Priority to US15/548,331 priority patent/US20180027090A1/en
Priority to CN201580076170.0A priority patent/CN107251019A/zh
Publication of WO2016136104A1 publication Critical patent/WO2016136104A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • G06F16/636Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • G06F16/637Administration of user profiles, e.g. generation, initialization, adaptation or distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 may not extract content appropriate for the user.
  • the technology described in Patent Document 1 may not extract content appropriate for the user.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of extracting appropriate content according to the user's state.
  • a context information acquisition unit that acquires context information about the user's state obtained by analyzing information including at least one sensing data about the user, and a content group based on the context information.
  • An information processing apparatus including a content extraction unit that extracts one or a plurality of contents is provided.
  • the processor can execute a content group based on the context information.
  • An information processing method including extracting one or a plurality of contents from the content is provided.
  • a function for acquiring context information regarding the user state obtained by analyzing information including at least one sensing data regarding the user, and from the content group is provided.
  • FIG. 2 is a system diagram illustrating a configuration of a system according to first and second embodiments of the present disclosure.
  • FIG. It is a figure showing functional composition of a detecting device concerning a 1st and 2nd embodiment of this indication.
  • It is a figure showing functional composition of a server concerning a 1st embodiment of this indication.
  • It is a figure showing functional composition of a terminal unit concerning the 1st and 2nd embodiments of this indication.
  • FIG. 3 is a diagram illustrating an information processing sequence according to the first embodiment of the present disclosure. It is explanatory drawing (the 1) for demonstrating 1st Example. It is explanatory drawing (the 2) for demonstrating 1st Example. It is explanatory drawing for demonstrating 2nd Example.
  • First Embodiment 1-1 System configuration 1-2. Functional configuration of detection apparatus 1-3. Functional configuration of server 1-4. 1. Functional configuration of terminal device Information processing method 2-1. First embodiment 2-2. Second embodiment 2-3. Third embodiment 2-4. Fourth Embodiment 3. FIG. Second Embodiment 3-1. Functional Configuration of Server 3-2. Information processing method 3-3. Fifth Embodiment 4. Hardware configuration Supplement
  • FIG. 1 is a system diagram illustrating a schematic configuration of a system according to the first embodiment of the present disclosure.
  • the system 10 may include a detection device 100, a server 200, and a terminal device 300.
  • the detection device 100, the server 200, and the terminal device 300 can communicate with each other via various wired or wireless networks.
  • the number of detection devices 100 and terminal devices 300 included in the system 10 is not limited to the numbers illustrated in FIG. 1, and may be more or less.
  • the detection apparatus 100 detects the state of one or a plurality of users, and transmits sensing data regarding the detected user state to the server 200.
  • the server 200 acquires the sensing data transmitted from the detection device 100, analyzes the acquired sensing data, and acquires context information indicating the state of the user. Further, the server 200 extracts one or a plurality of contents from a group of contents that can be acquired via the network based on the acquired context information. The server 200 can also transmit content information (content title, storage location, content, format, capacity, etc.) regarding the extracted content or content to the terminal device 300 or the like.
  • content information content title, storage location, content, format, capacity, etc.
  • the terminal device 300 can output the content information transmitted from the server 200 to the user.
  • All of the detection device 100, the server 200, and the terminal device 300 can be realized by, for example, a hardware configuration of an information processing device to be described later.
  • each device does not necessarily have to be realized by a single information processing device, and may be realized by, for example, a plurality of information processing devices that are connected via various wired or wireless networks and cooperate with each other. .
  • the detection apparatus 100 may be a wearable device that is worn on a part of the user's body, such as eyewear, wristwear, or a ring-type terminal. Alternatively, the detection apparatus 100 may be an independent camera or microphone that is fixedly installed. Furthermore, the detection device 100 may be included in a device carried by a user such as a mobile phone (including a smartphone), a tablet or notebook PC (Personal Computer), a portable media player, or a portable game machine. Good. The detection device 100 may be included in a device installed around the user, such as a desktop PC or TV, a stationary media player, a stationary game machine, or a stationary telephone. Note that the detection device 100 is not necessarily included in the terminal device.
  • FIG. 2 is a diagram illustrating a schematic functional configuration of the detection apparatus 100 according to the first embodiment of the present disclosure.
  • the detection device 100 includes a sensing unit 110 and a transmission unit 130.
  • the sensing unit 110 includes at least one sensor that provides sensing data regarding the user.
  • the sensing unit 110 outputs the generated sensing data to the transmission unit 130, and the transmission unit 130 transmits the sensing data to the server 200.
  • the sensing unit 110 may include a motion sensor that detects a user's operation, a sound sensor that detects sound generated around the user, a biological sensor that detects user's biological information, and the like.
  • the sensing unit 110 may include a position sensor that detects user position information. For example, when a plurality of sensors are included, the sensing unit 110 may be separated into a plurality of parts.
  • the motion sensor is a sensor that detects a user's operation, and specifically includes an acceleration sensor and a gyro sensor. Specifically, the motion sensor detects changes in acceleration, angular velocity, etc. that occur with the user's movement, and generates sensing data indicating these detected changes.
  • the sound sensor can be specifically a sound collecting device such as a microphone.
  • Sound sensors are not only sounds generated by the user's utterances (not limited to utterances but may include pronunciations that do not make sense such as onomatopoeia or exclamation) as well as hands. It is possible to detect sounds generated by user actions such as hitting, environmental sounds around the user, utterances of people located around the user, and the like. Further, the sound sensor may be optimized so as to detect a single type of sound among the types of sounds exemplified above, or configured to detect a plurality of types of sounds. Also good.
  • the biosensor is a sensor that detects a user's biometric information.
  • the biosensor is directly attached to a part of the user's body, and the heart rate, blood pressure, brain wave, breathing, sweating, myoelectric potential, skin temperature, skin electrical resistance, etc.
  • a sensor to measure can be included.
  • the biosensor may include an imaging device and detect eye movement, pupil size, gaze time, and the like.
  • the position sensor is a sensor that detects the position of a user or the like, and specifically, can be a GNSS (Global Navigation Satellite System) receiver or the like. In this case, the position sensor generates sensing data indicating the latitude and longitude of the current location based on a signal from the GNSS satellite.
  • GNSS Global Navigation Satellite System
  • a receiver that receives a wireless signal such as Bluetooth (registered trademark) from the terminal device 300 existing around the user can also be used as a position sensor for detecting a relative positional relationship with the terminal device 300. .
  • the sensing unit 110 may include an image pickup device and an image pickup device that picks up an image of the user and the surroundings of the user using various members such as a lens for controlling the formation of a subject image on the image pickup device.
  • the user's operation is captured in the image captured by the imaging device.
  • the sensing unit 110 may include various sensors such as a temperature sensor that measures the environmental temperature, in addition to the sensors other than those described above.
  • the detection apparatus 100 may include a receiving unit (not shown) that acquires information such as control information for controlling the sensing unit 110.
  • the receiving unit is realized by a communication device that communicates with the server 200 via a network.
  • FIG. 3 is a diagram illustrating a schematic functional configuration of the server 200 according to the first embodiment of the present disclosure.
  • the server 200 may include a reception unit 210, a storage 220, a context information acquisition unit 230, a content extraction unit 240, an output control unit 250, and a transmission unit 260.
  • the context information acquisition unit 230, the content extraction unit 240, and the output control unit 250 are realized by software using, for example, a CPU (Central Processing Unit).
  • Part or all of the functions of the server 200 may be realized by the detection device 100 or the terminal device 300.
  • the receiving unit 210 is realized by a communication device that communicates with the detection device 100 or the like via a network.
  • the reception unit 210 communicates with the detection device 100 and receives sensing data transmitted from the detection device 100.
  • the reception unit 210 outputs the received sensing data to the context information acquisition unit 230.
  • the receiving unit 210 communicates with other devices via a network, and uses other information such as user profile information (hereinafter referred to as a user profile) used by the context information acquisition unit 230 and the content extraction unit 240 described below. It is also possible to receive information related to content stored in other devices. Details of the user profile will be described later.
  • the context information acquisition unit 230 analyzes the sensing data received by the reception unit 210 and generates context information regarding the user's state. Further, the context information acquisition unit 230 outputs the generated context information to the content extraction unit 240 or the storage 220. Details of analysis and generation of context information in the context information acquisition unit 230 will be described later.
  • the context information acquisition unit 230 can also acquire the user profile received by the reception unit 210.
  • the content extraction unit 240 is a content group that can be used by the terminal device 300 (for example, content stored in the storage 220 of the server 200 or stored in another server accessible via the network). Content and / or local content stored in the terminal device 300). Furthermore, the content extraction unit 240 can also output content information, which is information regarding the extracted content, to the output control unit 250 or the storage 220.
  • the output control unit 250 controls the output of the extracted content to the user. Specifically, the output control unit 250 determines an output method such as an output format when outputting content information to the user, a terminal device 300 that outputs, and an output timing based on the content information and context information corresponding thereto. select. Details of selection of the output method by the output control unit 250 will be described later. Further, the output control unit 250 outputs the content information to the transmission unit 260 or the storage 220 based on the selected output method.
  • an output method such as an output format when outputting content information to the user, a terminal device 300 that outputs, and an output timing based on the content information and context information corresponding thereto. select. Details of selection of the output method by the output control unit 250 will be described later. Further, the output control unit 250 outputs the content information to the transmission unit 260 or the storage 220 based on the selected output method.
  • the transmission unit 260 is realized by a communication device that communicates with the terminal device 300 or the like via a network.
  • the transmission unit 260 communicates with the terminal device 300 selected by the output control unit 250 and transmits content information to the terminal device 300.
  • the terminal device 300 includes a mobile phone (including a smartphone), a tablet-type or notebook-type or desktop-type PC or TV, a portable or installed media player (including a music player, a video display, etc.), a portable or installed game. Machine, wearable computer, etc., and is not particularly limited.
  • the terminal device 300 receives the content information transmitted from the server 200 and outputs it to the user.
  • the function of the terminal device 300 may be realized by the same device as the detection device 100, for example. Further, when the system 10 includes a plurality of detection devices 100, some of them may realize the function of the terminal device 300.
  • FIG. 4 is a diagram illustrating a schematic functional configuration of the terminal device 300 according to the first embodiment of the present disclosure.
  • the terminal device 300 may include a receiving unit 350, an output control unit 360, and an output unit 370.
  • the receiving unit 350 is realized by a communication device that communicates with the server 200 via a network, and receives content information transmitted from the server 200. Furthermore, the receiving unit 350 outputs the content information to the output control unit 360.
  • the output control unit 360 is realized by software using, for example, a CPU or the like, and controls the output of the output unit 370 based on the content information.
  • the output unit 370 is configured by a device that can output the acquired content information to the user.
  • the output unit 370 can include, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, an audio output device such as a speaker or headphones, and the like.
  • a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display
  • an audio output device such as a speaker or headphones, and the like.
  • the terminal device 300 may further include an input unit 330 that accepts user input and a transmission unit 340 that transmits information and the like from the terminal device 300 to the server 200 and the like. Specifically, for example, the terminal device 300 may change the output of the output unit 370 based on the input received by the input unit 330. In this case, the transmission unit 340 may transmit a signal requesting the server 200 to transmit new information based on the input received by the input unit 330.
  • the detection device 100 includes a sensing unit 110 including a sensor that provides at least one sensing data, a context information acquisition unit 230, and content extraction.
  • Part 240 (described above as the functional configuration of the server 200).
  • the terminal device 300 can include an output unit 370 that outputs content, a context information acquisition unit 230, and a content extraction unit 240.
  • the system 10 does not necessarily include the server 200.
  • the detection device 100 and the terminal device 300 are realized by the same device, the system 10 may be completed inside the device.
  • the server 200 analyzes information including sensing data related to the user state detected by the detection device 100, and the user state obtained from the analysis Context information indicating is acquired. Further, the server 200 extracts one or a plurality of contents from the content group based on the context information.
  • FIG. 5 is a sequence diagram illustrating an information processing method according to the first embodiment of the present disclosure.
  • step S101 the sensing unit 110 of the detection apparatus 100 generates sensing data indicating the state of the user, and the transmission unit 130 transmits the sensing data to the server 200.
  • the generation and transmission of sensing data may be performed periodically, for example, or may be performed when the user is determined to be in a predetermined state based on other sensing data.
  • the sensing unit 110 includes a plurality of types of sensors, the generation and transmission of sensing data may be performed collectively or at different timings for each sensor.
  • step S102 the receiving unit 210 of the server 200 receives the sensing data transmitted from the detection device 100.
  • the context information acquisition unit 230 acquires the received sensing data.
  • the sensing data may be received by the reception unit 210, temporarily stored in the storage 220, and read by the context information acquisition unit 230 as necessary.
  • step S103 may be executed as necessary, and the receiving unit 210 may acquire a user profile that is information about the user via the network.
  • the user profile includes, for example, information on user preferences (interest graph), information on user friendships (social graph), user schedule, image data such as user faces, and user voice feature data. Can be included.
  • the context information acquisition unit 230 can also acquire various information other than the user profile such as traffic information and a broadcast program guide via the Internet. Note that the processing order of step S102 and step S103 is not limited to this, and may be simultaneous or reversed.
  • the context information acquisition unit 230 analyzes the sensing data, generates context information indicating the state of the user, and outputs the generated context information to the content extraction unit 240.
  • the context information acquisition unit 230 may include a keyword corresponding to the acquired sensing data (a keyword expressing an operation if sensing data related to an operation, and a user corresponding to an audio if sensing data related to a user's voice).
  • Context information including a keyword expressing a user's emotion, a keyword expressing a user's emotion corresponding to the biological information, and the like as long as sensing data related to the user's biological information may be generated.
  • the context information acquisition unit 230 represents the user's emotion obtained by analyzing the sensing data by a plurality of axes such as an axis including excitement and sedation and an axis including joy and grief. Context information including an index value may be generated. Furthermore, the context information acquisition unit 230 generates individual emotions as separate index values (for example, excitement 80, sedation 20, joy 60, etc.), and includes context information that includes these index values. May be generated.
  • the context information acquisition unit 230 may generate context information including specific user position information.
  • the context information acquisition unit 230 includes specific information about the person or the terminal device 300 around the user. Context information including may be generated.
  • the context information acquisition unit 230 may associate the generated context information with a time stamp based on the time stamp of the sensing data, or may associate with the time stamp corresponding to the time when the context information is generated. .
  • the context information acquisition unit 230 may refer to the user profile when analyzing the sensing data. For example, the context information acquisition unit 230 may collate position information included in the sensing data with a schedule included in the user profile, and specify a specific place where the user is located. In addition, the context information acquisition unit 230 can analyze voice information included in the sensing data with reference to feature data of the user's voice included in the user profile. Further, for example, the context information acquisition unit 230 may generate context information including keywords (keywords corresponding to user preferences, user friend names, etc.) obtained by analyzing the acquired user profile. . In addition, the context information acquisition unit 230 may generate context information including an index value indicating the depth of friendship of the user, or user action schedule information.
  • keywords keywords corresponding to user preferences, user friend names, etc.
  • step S105 the content extraction unit 240 extracts one or a plurality of contents from the contents that can be acquired via the network based on the context information generated by the context information acquisition unit 230. Then, the content extraction unit 240 outputs content information, which is information about the extracted content, to the output control unit 250 or the storage 220.
  • the content extraction unit 240 extracts content having contents suitable for the user's state expressed by a keyword or the like included in the context information, for example. At this time, the content extraction unit 240 extracts content in a format (text file, still image file, moving image file, audio file, etc.) suitable for the location information of the user included in the context information and the terminal device 300 used by the user. You can also Furthermore, the content extraction unit 240 calculates a fitness indicating the degree of compatibility between each extracted content and the context information used in the extraction, and outputs the calculated fitness as content information of each content. May be.
  • step S106 the output control unit 250 selects an output method when content information is output to the user, a terminal device 300 that outputs the content information, a timing for output, and the like, and transmits information related to the selection to the transmission unit 260 or the storage. To 220.
  • the output control unit 250 performs the selection based on the content information and context information related to the content information.
  • the output control unit 250 recommends the most suitable content by the agent, whether to output the extracted content such as video or audio, or to output a list in which the content titles are arranged. Select the content output method, such as whether to do so. For example, when the output control unit 250 outputs a list in which content titles and the like are arranged, the information on each content may be arranged in an order according to the calculated fitness, or may be different from the fitness, for example, They may be arranged on the basis of reproduction time or the like. In addition, the output control unit 250 selects one or more of the terminal devices 300 as an output terminal that outputs content information.
  • the output control unit 250 identifies the terminal device 300 located around the user based on the context information, and selects content having a format or size that can be output by the terminal device 300 from the extracted content. Further, for example, the output control unit 250 selects the timing for outputting the content information based on the user's action schedule information included in the context information, or matches the user's surrounding environment based on the user's position information. Determine the volume of content playback.
  • step S107 the transmission unit 260 communicates with the terminal device 300 via the network, and transmits content information based on the selection of the output control unit 250.
  • step S108 the receiving unit 350 of the terminal device 300 receives the content information. Then, the output control unit 360 controls the output unit 370 based on the received content information.
  • step S109 the output unit 370 is controlled by the output control unit 360, and outputs content information (for example, information such as a content entity or a title) to the user.
  • content information for example, information such as a content entity or a title
  • the server 200 can acquire information on content viewed by the user as the viewing history of the user.
  • the server 200 includes a history acquisition unit (not shown in FIG. 3), and the history acquisition unit can acquire information related to user preferences by learning the acquired viewing history. Further, the acquired user preference information can be used in the next content extraction.
  • the server 200 can acquire a user's evaluation on the extracted content.
  • the input unit 330 provided in the terminal device 300 receives an input from the user, and the evaluation is transmitted from the terminal device 300 to the server 200.
  • the server 200 further includes an evaluation acquisition unit (not shown in FIG. 3), and the evaluation acquisition unit acquires information on the user's preference by accumulating and learning the evaluation.
  • the server 200 may accept an input of a keyword for extraction from the user.
  • the timing of accepting may be before the content is extracted or after the content information of the extracted content is output to the user.
  • the apparatus which receives an input can be the input unit of the server 200, the sensing unit 110 of the detection apparatus 100, or the like, and is not particularly limited.
  • FIGS. 6 and 7 are explanatory diagrams for explaining the first embodiment.
  • the first embodiment as shown in FIG. 6, it is assumed that the user is watching a soccer broadcast on the TV in the living room at home.
  • the smartphone 100a and the listware 100b carried by the user function as the detection device 100.
  • the smartphone 100a detects position information indicating that the user is in the living room from a communicable Wi-Fi access point 100d and radio wave intensity, and transmits sensing data based on the detection to the server 200.
  • the server 200 separately accesses the TV 300a that is specified to be in the living room by the information registered by the user based on the sensing data through the Internet or the like, and the state of the TV 300a (power state, channel being received, etc.) Information) can be acquired.
  • the context information acquisition unit 230 of the server 200 is in a state where the user is in the living room, the TV 300a is the terminal device 300 located around the user, the TV 300a is activated, and the channel 8 is received. Can be grasped.
  • the context information acquisition unit 230 acquires the program guide of the channel 8 that can be used on the network via the reception unit 210.
  • the context information acquisition unit 230 indicates that the program estimated to be viewed by the user based on the acquired information is a soccer game relay, the name of the soccer team that is playing in the game, the game It is possible to specify the start date and time, etc.
  • the acceleration sensor included in the wrist wear 100b transmits sensing data indicating a change in acceleration generated by pushing up the arm to the server 200.
  • the context information acquisition unit 230 specifies that the user's “push up arm” operation has occurred by analyzing the transmitted sensing data.
  • the context information acquiring unit 230 is excited when the user “watches the football broadcast” because the “push up arm” operation has occurred in the already identified context “watching the football broadcast”. Then, context information indicating that the arm is pushed up is generated.
  • the content extraction unit 240 extracts content such as “a scene of an exciting soccer game” based on the generated context information.
  • the content extraction unit 240 may extract the content by using keywords such as “soccer” and “excitement” included in the context information, or use a feature vector indicating the type of sport or scene features. Then, the content may be extracted.
  • the content extraction unit 240 can grasp the state that the user is watching a soccer broadcast on the TV 300a in the living room based on the context information, the content extraction unit 240 limits the content to be extracted to a moving image having a size suitable for output on the TV 300a. And extract.
  • a plurality of contents are extracted by the content extraction unit 240 as contents suitable for the user's state indicated by the context information.
  • a fitness indicating the degree of fitness between each extracted content and the context information used in the extraction is calculated, and the calculated fitness is included in the content information regarding each content.
  • the output control unit 250 selects to output the content information in a list format in the TV 300a.
  • the output control unit 250 of the server 200 displays a list in which the titles and thumbnails of each content are arranged in the order of suitability of each content (for example, content information of content with a high suitability is shown at the top). Select to output.
  • the output control unit 250 refers to the information related to the soccer relay, and selects to output the list at the timing when the first half of the game ends and the half time starts.
  • a list (LIST) in which the titles and thumbnails of the extracted contents are arranged is displayed on the screen of the TV 300a as half time starts. Further, when the user selects content that the user wants to view from the list, the selected content is reproduced. In this case, content selection by the user is input by a remote controller of TV 300a (an example of input unit 330 of terminal device 300) or the like.
  • the listware 100b detects the user's operation that is difficult to express in words, such as the operation of pushing up the arm, and the server 200 extracts the content according to the operation. It can be carried out. At this time, the state in which the user is watching the football relay on the TV 300a in the living room is also grasped by the position information provided by the smartphone 100a and the information provided from the TV 300a, so that more appropriate content can be extracted. It becomes possible.
  • content is extracted with the detection of an operation performed by the user without intention to extract the content as a trigger.
  • the terminal device 300 TV 300a
  • the output state of the terminal device 300 the soccer relay is being output and the game will soon enter halftime
  • the user when the user looks at the list and wants to extract a moving image of a certain player from the content listed on the list, the user selects a keyword for content extraction (for example, the player's video). Name) may be entered.
  • the user can input the keyword by operating the smartphone 100a carried by the user. That is, in this case, the smartphone 100a functions as the detection device 100 that provides the user's position information, and also functions as the terminal device 300 that receives the user's operation input.
  • the content extraction unit 240 In the server 200 that has received the input keyword, the content extraction unit 240 further extracts one or more contents that match the keyword from the plurality of already extracted contents.
  • the server 200 can perform extraction using a keyword in addition to context information obtained by analyzing sensing data, and can extract content more appropriate for the user.
  • the context information acquisition unit 230 identifies the meaning intended by the user by analyzing the context information obtained from the sensing data together with the keyword. can do. Specifically, when the keyword “interesting” is input from the user, “interesting” includes meanings such as “fun” and “interesting”.
  • the context information acquisition unit 230 analyzes the user's brain waves detected by a biosensor mounted on the user's head, and determines the user's context that “the user is concentrated”. To grasp. In this case, the server 200 specifies that the user's intended meaning of the keyword “interesting” is “interesting” based on the context information “users are concentrated”, and selects content corresponding to “interesting”. Extract.
  • FIG. 8 is an explanatory diagram for explaining the second embodiment.
  • the second embodiment assumes a case where user A is chatting with a friend user B while watching a football broadcast on TV in the living room of user A.
  • the faces of the users A and B are photographed by the imaging device 100c installed in the living room of the user A corresponding to the detection device 100.
  • the imaging apparatus 100c transmits sensing data including position information of the imaging apparatus 100c and face images of the users A and B to the server 200.
  • the face image included in the transmitted sensing data is the face image of the users A and B by referring to the face image data included in the user profile acquired by the context information acquisition unit 230 via the network. Identify that there is.
  • the context information acquisition part 230 grasps
  • the context information acquisition unit 230 is in a chat with the user A and the user B based on the moving images of the operations of the users A and B (for example, the faces sometimes face each other) transmitted from the imaging device 100c. Also grasp.
  • the context information acquisition unit 230 acquires a user profile including the interest graphs of the users A and B via the network. Based on the acquired interest graph, the context information acquisition unit 230 determines each preference of the users A and B (for example, “User A enjoys watching a variety program”, “User A ’s favorite group is , “ABC37”, “How to spend fun time for user B is to play soccer”, etc.).
  • the Wi-Fi access point 100d installed in the living room of the user A communicates with the TV 300b in the living room and the projector 300c that projects an image on the wall surface of the living room.
  • the context information acquisition unit 230 of the server 200 may specify that the TV 300b and the projector 300c are available terminal devices 300. it can.
  • the user A has fun and laughs during the context as described above (the users A and B are chatting).
  • the microphone 100e installed in the living room together with the imaging device 100c detects the laughter and transmits sensing data including voice data of the laughter to the server 200.
  • the context information acquisition unit 230 refers to the voice feature information included in the acquired user profile, and specifies that the laughing voice of the user A is included in the transmitted sensing data.
  • the context information acquisition unit 230 that identifies the person who uttered the laughing voice has information about the correlation between the voice and emotion of the user A included in the user profile (a loud laughing voice is pleasant, and a sour voice is sad) , Etc.), and generates context information including a keyword (for example, “fun”) indicating the emotion of the user A when laughing.
  • a keyword for example, “fun”
  • the laughing voice of the user A is detected by the microphone 100e.
  • the voice detected by the microphone 100e is a cheer such as “Wow!” Or a nose. It may be a sound, a coughing sound, a speech voice, or the like.
  • the microphone 100e may detect a sound caused by the operation of the user B.
  • the content extraction unit 240 of the server 200 can extract content by two methods.
  • the content extraction unit 240 uses the keyword “fun” included in the context information and the preference of the user A (“user A enjoys watching a variety program”, “user A's favorite group” Is “ABC37”)), for example, the contents of the variety program in which “ABC37” appears are extracted.
  • the content extraction unit 240 in addition to the plurality of information used in the first method, the content extraction unit 240 also uses the preference of user B included in the context information (user B enjoys playing soccer). To extract the content.
  • the extracted content includes, for example, a variety program content related to soccer such as a variety program in which soccer players and “ABC37” appear and a variety program in which “ABC37” challenges soccer.
  • the content extraction unit 240 may extract content using either the first method or the second method described above, or may extract content using both methods.
  • the server 200 recognizes that the TV 300b is activated by communicating with the TV 300b via the Wi-Fi access point 100d.
  • the context information acquisition unit 230 generates context information that further includes information indicating that the users A and B are watching the TV 300b.
  • the output control unit 250 selects the projector 300c as the terminal device 300 that outputs content information so as not to disturb viewing of the TV 300b. Further, the output control unit 250 selects from the content information to display a list including the title of each moving image and a still image of a representative scene of each moving image by the projector 300c.
  • the output control unit 250 selects to output the content information extracted by each method separately. Specifically, as shown in FIG. 8, the projector 300c can project images on two wall surfaces W1, W2 in the vicinity of the TV 300b in the living room. Therefore, the output control unit 250 projects the content information of the variety program extracted by the first method on the right wall surface W1, and the content information of the variety program related to soccer extracted by the second method is displayed on the left wall surface W2. Decide to project.
  • the output control unit 250 refers to information such as the first broadcast date and time associated with each extracted content, and arranges the content in order from the closest to the TV 300b of the wall surfaces W1 and W2. .
  • the latest content information is projected on the portion closest to the TV on the wall surfaces W1 and W2.
  • the oldest content information is projected on the part farthest from the TV on the wall surfaces W1, W2.
  • the content information (INFO) of the recommended content is displayed on the TV 300b as shown in FIG. You may display small also in the upper left part of a screen.
  • the user A selects the content he / she wants to view from the projected content information
  • the selected content is reproduced on the screen of the TV 300b.
  • the user A may select the content by a controller that can select the position in the image projected on the wall surfaces W1 and W2, or may select the content by voice input that reads out the content title or the like. Good.
  • voice input the voice of user A may be detected by the microphone 100e.
  • the context information acquisition unit 230 can analyze the sensing data more accurately because it refers to the user profile including information about the relationship between the user's action and emotion when analyzing the sensing data. Furthermore, since the context information acquisition unit 230 extracts the content based on the preference information of the user B included in the user profile, the content that the users A and B can enjoy at the same time can be extracted.
  • FIGS. 9 and 10 are explanatory diagrams for explaining the third embodiment.
  • the third embodiment assumes that the user is on a train and watching the screen of the smartphone 100f while listening to music.
  • the user carries a smartphone 100f as the detection device 100, and the smartphone 100f detects the user's position information by a GNSS receiver included in the smartphone 100f, and transmits sensing data based on the detection to the server 200. Furthermore, the smartphone 100f communicates with the headphones 300d worn by the user via Bluetooth (registered trademark), and transmits an audio signal for outputting music to the headphones 300d. The smartphone 100f transmits information indicating that the user is using the headphones 300d to the server 200 together with the position information.
  • the context information acquisition unit 230 acquires a user profile including schedule information from the network via the reception unit 210 in addition to the information transmitted from the smartphone 100f as described above. And the context information acquisition part 230 is based on the user's position information received from the smartphone 100f and the user's schedule information (more specifically, the user is commuting and is on the subway line 3). Figure out that is on the train. Furthermore, the context information acquisition unit 230 analyzes the information included in the sensing data and grasps the state that the user is using the headphones 300d together with the smartphone 100f.
  • the context information acquisition unit 230 analyzes the image and identifies that the user's facial expression is a “joyful facial expression”. Furthermore, the context information acquisition unit 230 generates context information including a keyword (for example, “happy”) corresponding to the user's emotion expressed by such a facial expression.
  • a keyword for example, “happy”
  • the above keyword is not limited to a keyword that expresses the user's emotion when the user has a facial expression. For example, if the user has a sad facial expression, the keyword is “encourage” Also good.
  • the content extraction unit 240 extracts content that can be output by the smartphone 100f based on the keyword “I am happy” included in the context information. Further, at the time of the above extraction, the content extraction unit 240 recognizes from the schedule information included in the user profile that there are 10 minutes remaining until the user gets off the train, and in the case of moving images or audio, the playback time is 10 minutes. The extraction may be limited to the content within. As a result, the content extraction unit 240 extracts the blog of the user who recorded the happy event, the news site where the happy article was written, and the music data of the music that the user felt happy. The server 200 outputs content information (title, format, etc.) regarding the extracted content.
  • the output control unit 250 refers to the information of the available terminal device 300 included in the context information, and selects the smartphone 100f as the terminal device 300 that outputs the content information. That is, in the present embodiment, the smartphone 100f functions as both the detection device 100 and the terminal device 300.
  • the content information transmitted from the server 200 is displayed on the screen of the smartphone 100f.
  • the agent is displayed on the screen of the smartphone 100f, and the agent recommends the extracted content (for example, the character is displayed on the screen and the character balloon is displayed. Is displayed as “Jimmy's site is recommended!”).
  • the user can reproduce desired content by operating the smartphone 100f. Further, the user may input the evaluation for the reproduced content by operating the smartphone 100f, and may input not only the evaluation for the content but also the evaluation for the content output method (output timing, etc.). Good.
  • the music data when there is no remaining time until the user gets off the train, only the music data may be extracted and output so as not to disturb the user's transfer.
  • the music data is output from the headphones 300d via the smartphone 100f.
  • the smartphone 100f For example, when the user is driving a car, only content that can be played back by a speaker installed in the car may be extracted.
  • the server 200 can extract and output content corresponding to the user action schedule information obtained by analyzing the user profile. Therefore, the content can be extracted and output according to the user's condition, so that the user can enjoy the content more comfortably.
  • FIG. 11 is an explanatory diagram for explaining the fourth embodiment.
  • user A is having a break with friends (friends B, C, D) in a school classroom.
  • the user A carries the smartphone 100g as the detection device 100, and the location information of the user A is detected by the smartphone 100g. Furthermore, the smart phone 100g communicates with the smart phones 100h, 100i, and 100j carried by the friends B, C, and D around the user A via Bluetooth (registered trademark), so that the smart phone 100h, 100i, 100j is detected.
  • the smartphone 100g transmits information indicating the detected other terminal devices (that is, the smartphones 100h, 100i, and 100j) to the server 200. Further, the smartphone 100g transmits the position information of the user A acquired by the GNSS receiver, the Wi-Fi communication device, or the like to the server 200.
  • the context information acquisition unit 230 grasps the state that the user A is in the school classroom based on the position information received from the smartphone 100g. Furthermore, the context information acquisition unit 230 recognizes the smartphones 100h, 100i, and 100j as other terminal devices located around the user A based on the information received from the smartphone 100g. In addition, the server 200 refers to the account information associated with each smartphone described above via the network, and the friends B, C, and D who are the owners of the smartphones 100h, 100i, and 100j are assumed to be persons around the user A. You may specify.
  • the context information acquisition unit 230 acquires a user profile including the schedule information of the user A from the network via the reception unit 210 in addition to the information transmitted from the smartphone 100g as described above. To do. From the schedule information, the context information acquisition unit 230 can also grasp the context that the user A is in the break time.
  • the context information acquisition unit 230 may extract information from the social graph included in the user profile of the user A for the friends B, C, and D specified as the persons around the user A. More specifically, the context information acquisition unit 230, based on the acquired social graph, information on the friendship relationship between the user A and friends B, C, D (for example, 5 for best friends and family, and 5 for classmates) 4. Generate context information including the degree of familiarity and the relationship, which is an index value) such as 1 if the degree of proximity is close.
  • the content extraction unit 240 may extract content reflecting the friendship between the user A and the friends B, C, and D. Specifically, for example, when it is recognized from the friendship relationship information that the friends B, C, and D are not particularly intimate with the user A, the content extraction unit 240 displays the private content of the user A (home video The moving image of the user A photographed in step 1) is not extracted. Note that if the friends B, C, and D have a particularly close relationship with the user A, the content extraction unit 240 may extract the private content of the user A that has been designated as being publicly available. Good.
  • a disclosure level that can be disclosed for each person by the user A for example, a content disclosure range is disclosed for each person such that the content related to the private is disclosed to the friend E and the content related to the private is not disclosed to the friend F.
  • the disclosure level information describing the information may be created in advance, and content may be extracted according to the disclosure level information.
  • the acceleration sensor included in the wristware 100m worn on the arm of the user A transmits sensing data indicating the acceleration change generated by the above operation to the server 200.
  • the context information acquisition unit 230 specifies that the user A has performed a tennis shot operation by analyzing the transmitted sensing data. Furthermore, the context information acquisition unit 230 generates context information including keywords (for example, “tennis” and “shot”) corresponding to the above-described operation of the user A.
  • the context extraction unit 240 extracts a tennis shot moving image based on the keywords “tennis” and “shot” included in the context information and the terminal device information, and content information about the extracted moving image. Is output.
  • a moving image or the like of the tennis played by the user A taken with the home video is not extracted. In this embodiment, it is assumed that one moving image has been extracted.
  • the output control unit 250 refers to the terminal device information included in the context information, and selects the smartphones 100g, 100h, 100i, and 100j as the terminal device 300 that outputs the content information. More specifically, since there is one extracted moving image, the output control unit 250 displays this moving image on the smartphone 100g carried by the user A and simultaneously displays it on the smartphones 100h, 100i, and 100j. Choose that.
  • the server 200 performs generation of context information and content extraction processing triggered by the acquisition of the sensing data, and the extracted content is sent to the user A and friends B, C, and D. Is output. Further, when a state of a new user A or the like is detected, the server 200 extracts new content according to the detected state of the new user A or the like.
  • the content information is output to each smartphone at the same time.
  • the present invention is not limited to this, and the content information may be displayed on each smartphone at different timings.
  • the smartphone 100i may display content information at a timing different from that of other smartphones after it is confirmed that the operation has been completed. Good.
  • the user A may input the timing to display on each smartphone and the content to be viewed by operating the smartphone 100g.
  • the friend D among the surrounding friends carries the feature phone, it can be displayed as follows. For example, on the feature phone of the friend D, content consisting of text and still images corresponding to the content displayed on each smartphone may be displayed according to the capability of the feature phone screen display function.
  • the content information can be output not only to the smartphone 100g carried by the user A but also to each smartphone carried by a nearby friend, and the content can be shared with the surrounding friend. Furthermore, since the server 200 extracts the content according to the friendship relationship information of the user A, the private video that the user A does not want to show to the friend or the like is not displayed on the friend's smartphone. You can enjoy the content with peace of mind.
  • context information indicating the state of the user is separately used as meta information of content corresponding to the context information.
  • This meta information is used, for example, when extracting content described in the first embodiment. That is, in this embodiment, when extracting content, meta information (corresponding to past content information) associated with the content and context information are used (for example, meta information and context information are collated, Or compare). Therefore, it becomes possible to extract the content more suited to the user's state.
  • the system according to the second embodiment includes a detection device 100, a terminal device 300, and a server 400.
  • the functional configurations of the detection device 100 and the terminal device 300 are the same as those in the first embodiment, and thus description thereof is omitted here.
  • FIG. 12 shows a schematic functional configuration of the server 400 according to the second embodiment.
  • the server 400 according to the second embodiment is similar to the server 200 according to the first embodiment in that the reception unit 210, the storage 220, the context information acquisition unit 230, and the content extraction unit. 240 and a transmitter 260 may be included.
  • the server 400 can also include a meta information processing unit 470.
  • the context information acquisition unit 230, the content extraction unit 240, and the meta information processing unit 470 are realized in software using, for example, a CPU or the like.
  • the meta information processing unit 470 associates the context information generated by the context information acquisition unit 230 with one or more contents extracted by the content extraction unit 240 based on the context information as meta information. Then, the meta information processing unit 470 can output meta information based on the context information to the transmission unit 260 or the storage 220. Note that the receiving unit 210, the storage 220, the context information acquisition unit 230, the content extraction unit 240, and the transmission unit 260 of the server 400 are the same as those in the first embodiment, and thus description thereof is omitted here. .
  • FIG. 13 is a sequence diagram illustrating an information processing method according to the second embodiment of the present disclosure.
  • the information processing method according to the second embodiment will be described with reference to FIG. First, steps S101 to S104 are executed. Since these steps are the same as those shown in FIG. 5 in the first embodiment, description thereof is omitted here.
  • the content extraction unit 240 of the server 400 extracts one or a plurality of contents corresponding to the context information from the enormous contents that can be acquired via the network, based on the generated context information. Specifically, the content extraction unit 240 extracts content such as moving images and music viewed by the user based on the user's position information included in the context information, the terminal device information used by the user, and the like. To do. More specifically, the content extraction unit 240 may extract a moving image or the like associated with a time stamp at the same time as the time when sensing data is acquired. Then, the server 400 outputs the content information regarding the extracted content to the meta information processing unit 470 or the storage 220.
  • the content extraction unit 240 may extract a moving image or the like associated with a time stamp at the same time as the time when sensing data is acquired.
  • the meta information processing unit 470 associates the generated context information with the extracted content as meta information.
  • the extracted content includes not only the information used in the extraction in step S205 but also other information included in the context information (for example, user biometric information obtained by analyzing sensing data). Associated. Then, the meta information processing unit 470 outputs the content information associated with the meta information based on the context information to the transmission unit 260 or the storage 220.
  • a meta information processing unit performs processing similar to that of the first embodiment (extraction of content to be output by the terminal device 300).
  • Meta information associated with the content can be used by 470.
  • the content extraction unit 240 compares and collates meta information (including information corresponding to past context information) associated with the content with the context information newly acquired by the context information acquisition unit 230. . As a result, it is possible to extract content more in accordance with the user's state (context).
  • FIG. 14 is an explanatory diagram for explaining the fifth embodiment.
  • the user A is listening to music at an outdoor concert venue.
  • the user A carries the smartphone 100p as the detection device 100, and the position information of the user A is detected by the smartphone 100p. Furthermore, the smartphone 100p transmits sensing data based on the detection to the server 400. And in the server 400, the context information acquisition part 230 analyzes the acquired sensing data, and grasps
  • a pulse sensor included in wrist wear 100r attached to user A's wrist as detection device 100 detects a pulse in the excited state of user A and transmits sensing data to server 400.
  • the context information acquisition unit 230 analyzes the sensing data and generates context information including the user's pulse information.
  • sensing data that can grasp that the friend B who is a friend of the user A was watching the same concert at the concert venue is obtained by analyzing the sensing data.
  • Information may also be included in the context information.
  • the content extraction unit 240 of the server 400 extracts one or a plurality of contents based on the information related to the specified concert and the time stamp of the sensing data. More specifically, the content extraction unit 240 extracts content related to the concert that is associated with a time stamp that is the same as or close to the time indicated by the time stamp.
  • the extracted content is, for example, a moving image of the concert recorded by the camera 510 installed in the concert venue and recorded in the content server 520, music data played at the concert, and a concert by the audience of the concert. A tweet etc. are mentioned.
  • the meta information processing unit 470 associates the previously generated context information with the extracted content as meta information. Further, the meta information processing unit 470 outputs the associated meta information.
  • the pulse sensor 110s attached to the wrist of the user who is listening to music in the living room at home detects the pulse in the user's excitement state and transmits sensing data to the server 400.
  • the context information acquisition unit 230 analyzes the sensing data and generates context information including the user's pulse information.
  • the content extraction unit 240 compares and collates the pulse information included in the context information with the meta information of each content, and extracts content that matches the context information. More specifically, the content extraction unit 240 extracts, for example, music that the user was watching at the concert venue having, as meta-information, a pulse rate comparable to the pulse rate included in the context information.
  • the server 400 is content as context information indicating the state of the user even if the state of the user is difficult to be embodied in words such as the user's pulse detected by the sensor 110s. Can be associated with Therefore, when content is extracted in the first embodiment, meta information based on context information can also be used for content extraction. Therefore, content can be further extracted according to the user's state. it can.
  • FIG. 15 is a block diagram for explaining a hardware configuration of the information processing apparatus.
  • the illustrated information processing apparatus 900 can realize, for example, the detection apparatus 100, the server 200, and the terminal apparatus 300 in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925. Further, the information processing apparatus 900 may include a sensor 935.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 900 according to various programs recorded in the ROM 903, the RAM 905, the storage apparatus 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user such as a button, a keyboard, a touch panel, and a mouse.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a smartphone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user can input various data and instruct processing operations to the information processing apparatus 900 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD or an organic EL display, or an audio output device such as a speaker or headphones.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as a video such as text or an image, or outputs it as a sound or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, and the like.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, or satellite communication.
  • the sensor 935 includes various sensors such as a motion sensor, a sound sensor, a biological sensor, or a position sensor.
  • the sensor 935 may include an imaging device.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • an information processing method executed by the information processing apparatus or system as described above a program for causing the information processing apparatus to function, and a program are recorded. It may include tangible media that is not temporary. Further, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • a context information acquisition unit that acquires context information about the user's state obtained by analyzing information including at least one sensing data about the user, and one or more content groups based on the context information
  • An information processing apparatus (2) The information processing apparatus according to (1), wherein the at least one sensing data is provided by a motion sensor that detects an operation of the user. (3) The information processing apparatus according to (1) or (2), wherein the at least one sensing data is provided by a sound sensor that detects sound generated around the user. (4) The information processing apparatus according to any one of (1) to (3), wherein the at least one sensing data is provided by a biological sensor that detects biological information of the user.
  • the information processing apparatus according to any one of (1) to (4), wherein the at least one sensing data is provided by a position sensor that detects a position of the user.
  • the information includes user profile information of the user.
  • the information processing apparatus according to any one of (1) to (6), further including an output control unit that controls output of the one or more contents to the user.
  • the output control unit controls output of the one or more contents based on the context information.
  • the information processing apparatus according to any one of (1) to (9), wherein the content extraction unit calculates a degree of matching between the one or more contents and the context information.
  • the system further includes an output control unit that controls output of the one or more contents to the user so that information indicating the one or more contents is arranged and output according to the fitness. ).
  • the information processing apparatus according to any one of (1) to (11), further including a meta information processing unit that associates meta information based on the context information with the one or more contents.
  • the information processing apparatus according to any one of (1) to (12), further including a sensor that provides the at least one sensing data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Computer Hardware Design (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの状態に応じて適切なコンテンツを抽出することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。 【解決手段】ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、上記ユーザの状態に関するコンテクスト情報を取得するコンテクスト情報取得部と、上記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出するコンテンツ抽出部と、を備える情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。
 近年、テキストファイル、静止画像ファイル、動画像ファイル、音声ファイル等の膨大な量のコンテンツが蓄積されている。従来、これらのコンテンツをユーザが視聴しようとする場合には、例えば特許文献1に記載のように、ユーザが視聴したいコンテンツに関係するキーワードをユーザが入力し、入力されたキーワードに基づき所望のコンテンツを抽出する。
特開2013-21588号公報
 しかしながら、例えば特許文献1に記載されるような技術では、ユーザにとって適切なコンテンツが抽出されないことがある。例えば、ユーザの心理状態に応じたコンテンツを抽出しようとする場合には、心理状態を適切なキーワードで表現することが難しいため、キーワードを利用したコンテンツの抽出は最適な方法とはいえない。
 そこで、本開示では、上記事情を鑑みて、ユーザの状態に応じて適切なコンテンツを抽出することが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。
 本開示によれば、ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる上記ユーザの状態に関するコンテクスト情報を取得するコンテクスト情報取得部と、上記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出するコンテンツ抽出部とを備える情報処理装置が提供される。
 また、本開示によれば、ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、上記ユーザの状態に関するコンテクスト情報を取得することと、プロセッサが、上記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出することとを含む情報処理方法が提供される。
 さらに、本開示によれば、ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、上記ユーザの状態に関するコンテクスト情報を取得する機能と、上記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出する機能とをコンピュータに実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、ユーザの状態に応じて適切なコンテンツを抽出することが可能である。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1及び第2の実施形態に係るシステムの構成を示したシステム図である。 本開示の第1及び第2の実施形態に係る検出装置の機能構成を示した図である。 本開示の第1の実施形態に係るサーバの機能構成を示した図である。 本開示の第1及び第2の実施形態に係る端末装置の機能構成を示した図である。 本開示の第1の実施形態に係る情報処理のシーケンスを示した図である。 第1実施例を説明するための説明図(その1)である。 第1実施例を説明するための説明図(その2)である。 第2実施例を説明するための説明図である。 第3実施例を説明するための説明図(その1)である。 第3実施例を説明するための説明図(その2)である。 第4実施例を説明するための説明図である。 本開示の第2の実施形態に係るサーバの機能構成を示した図である。 本開示の第2の実施形態に係る情報処理のシーケンスを示した図である。 第5実施例を説明するための説明図である。 本開示の第1及び第2の実施形態に係る情報処理装置の構成を示したブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1-1.システムの構成
1-2.検出装置の機能構成
1-3.サーバの機能構成
1-4.端末装置の機能構成
2.情報処理方法
2-1.第1実施例
2-2.第2実施例
2-3.第3実施例
2-4.第4実施例
3.第2の実施形態
3-1. サーバの機能構成
3-2.情報処理方法
3-3.第5実施例
4.ハードウェア構成
5.補足
(1.第1の実施形態)
 以下に、本開示の第1の実施形態を説明する。まず、図を参照して、本開示の第1の実施形態に係るシステム及び各装置の概略的な機能構成について説明する。
(1-1.システムの構成)
 図1は、本開示の第1の実施形態に係るシステムの概略的な構成を示すシステム図である。図1を参照すると、システム10は、検出装置100と、サーバ200と、端末装置300とを含むことができる。上記の検出装置100と、サーバ200と、端末装置300とは、互いに有線又は無線の各種ネットワークを介して通信することができる。なお、システム10に含まれる検出装置100及び端末装置300は、図1に図示された数に限定されるものではなく、さらに多くても少なくてもよい。
 検出装置100は、1又は複数のユーザの状態を検出し、検出したユーザの状態に関するセンシングデータをサーバ200に送信する。
 サーバ200は、検出装置100から送信されたセンシングデータを取得し、取得したセンシングデータを解析して、ユーザの状態を示すコンテクスト情報を取得する。さらに、サーバ200は、取得したコンテクスト情報に基づいて、ネットワークを介して取得可能なコンテンツ群から1又は複数のコンテンツを抽出する。また、サーバ200は、抽出した1又は複数のコンテンツに関するコンテンツ情報(コンテンツのタイトル、格納場所、内容、フォーマット、容量等)を端末装置300等に送信することもできる。
 端末装置300は、サーバ200から送信されたコンテンツ情報をユーザに向けて出力することができる。
 上記の検出装置100と、サーバ200と、端末装置300とは、いずれも、例えば後述する情報処理装置のハードウェア構成によって実現されうる。この場合、各装置は、必ずしも単一の情報処理装置によって実現されなくてもよく、例えば有線又は無線の各種ネットワークを介して接続され、互いに協働する複数の情報処理装置によって実現されてもよい。
(1-2.検出装置の機能構成)
 検出装置100は、例えばアイウェア、リストウェア、又は指輪型端末等ユーザの身体の一部に装着するウェアラブルデバイスであってもよい。又は、検出装置100は、固定設置される独立したカメラやマイクロフォン等であってもよい。さらに、検出装置100は、携帯電話(スマートフォンを含む)、タブレット型もしくはノート型のPC(Personal Computer)、携帯型メディアプレーヤ、又は携帯型ゲーム機等のユーザの携帯する装置に含まれていてもよい。また、検出装置100は、デスクトップ型のPC又はTV、設置型メディアプレーヤ、設置型ゲーム機、設置型電話機等のユーザの周囲に設置された装置に含まれてもよい。なお、検出装置100は必ずしも端末装置に含まれなくてもよい。
 図2は、本開示の第1の実施形態に係る検出装置100の概略的な機能構成を示す図である。図2に示すように、検出装置100は、センシング部110と、送信部130とを有する。
 センシング部110は、ユーザに関するセンシングデータを提供する少なくとも1つのセンサを含む。センシング部110は生成したセンシングデータを送信部130に出力し、送信部130がセンシングデータをサーバ200に送信する。詳細には、例えば、センシング部110は、ユーザの動作を検出するモーションセンサ、ユーザの周囲で発生した音を検出するサウンドセンサ、ユーザの生体情報を検出する生体センサ等を含むことができる。さらに、センシング部110は、ユーザの位置情報を検出する位置センサを含むことができる。例えば複数のセンサを含む場合、センシング部110は複数の部分に分離していてもよい。
 ここで、モーションセンサは、ユーザの動作を検出するセンサであり、具体的には、加速度センサや、ジャイロセンサを含むことができる。詳細には、モーションセンサは、ユーザの動作に伴って発生する加速度や角速度等の変化を検出し、検出されたこれらの変化を示すセンシングデータを生成する。
 サウンドセンサは、具体的にはマイクロフォン等の集音装置であることができる。サウンドセンサは、ユーザの発声によって生じる音(発話には限らず、擬声語(onomatopoeia)又は感動詞(exclamation)のような特に意味をなさない発音等が含まれてもよい)だけでなく、手をたたく等のユーザの動作によって発生する音や、ユーザの周囲の環境音、ユーザの周囲に位置する人物の発声等を検出することができる。さらに、サウンドセンサは、上記で例示した種類の音のうち、単一の種類の音を検出するように最適化されていてもよいし、複数の種類の音を検出できるように構成されていてもよい。
 生体センサは、ユーザの生体情報を検出するセンサであり、例えばユーザの身体の一部に直接的に装着され心拍数、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定するセンサを含みうる。また、生体センサは撮像装置を含み、眼球運動、瞳孔径の大きさ、凝視時間等を検出してもよい。
 位置センサは、ユーザ等の位置を検出するセンサであり、具体的には、GNSS(Global Navigation Satellite System)受信機等であることができる。この場合、位置センサは、GNSS衛星からの信号に基づいて現在地の緯度・経度を示すセンシングデータを生成する。また、例えばRFID(Radio Frequency Identification)、Wi-Fiのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を位置センサとして利用することも可能である。また、ユーザの周囲に存在する端末装置300からBluetooth(登録商標)などの無線信号を受信する受信機も、端末装置300との相対的な位置関係を検出するための位置センサとして利用可能である。
 また、センシング部110は、撮像素子、及び撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いてユーザやユーザの周囲を撮像する撮像装置を含んでもよい。この場合、撮像装置によって撮像される画像には、例えば、ユーザの動作がキャプチャされている。
 センシング部110は、上記以外のセンサ以外にも、環境温度を測定する温度センサ等、様々なセンサを含むことができる。
 さらに、検出装置100は、センシング部110の制御のための制御情報等の情報を取得する受信部(図示せず)を有してもよい。この場合、受信部は、ネットワークを介してサーバ200と通信する通信装置によって実現される。
(1-3.サーバの機能構成)
 図3は、本開示の第1の実施形態に係るサーバ200の概略的な機能構成を示す図である。図3を参照すると、サーバ200は、受信部210と、ストレージ220と、コンテクスト情報取得部230と、コンテンツ抽出部240と、出力制御部250と、送信部260とを含むことができる。なお、コンテクスト情報取得部230と、コンテンツ抽出部240と、出力制御部250とは、例えばCPU(Central Processing Unit)等を用いてソフトウェア的に実現される。なお、サーバ200の機能の一部又は全部は、検出装置100又は端末装置300によって実現されてもよい。
 受信部210は、ネットワークを介して検出装置100等と通信する通信装置によって実現される。例えば、受信部210は、検出装置100と通信し、検出装置100から送信されたセンシングデータを受信する。さらに、受信部210は、受信したセンシングデータをコンテクスト情報取得部230に出力する。また、受信部210は、ネットワークを介して他の装置と通信し、次に説明するコンテクスト情報取得部230やコンテンツ抽出部240によって利用される他の情報、例えばユーザのプロファイル情報(以下、ユーザプロファイルともいう)や、他の装置に格納されたコンテンツに関する情報などを受信したりすることもできる。なお、ユーザプロファイルの詳細については後で説明する。
 コンテクスト情報取得部230は、受信部210が受信したセンシングデータを解析し、ユーザの状態に関するコンテクスト情報を生成する。さらに、コンテクスト情報取得部230は、生成したコンテクスト情報をコンテンツ抽出部240又はストレージ220に出力する。なお、コンテクスト情報取得部230における、解析及びコンテクスト情報の生成の詳細については後で説明する。また、コンテクスト情報取得部230は、受信部210が受信したユーザプロファイルを取得することもできる。
 コンテンツ抽出部240は、上記コンテクスト情報に基づいて、端末装置300が利用可能なコンテンツ群(例えば、サーバ200のストレージ220に格納されたコンテンツ、ネットワークを介してアクセス可能な他のサーバに格納されたコンテンツ、及び/又は端末装置300に格納されたローカルコンテンツを含みうる)の中から、1又は複数のコンテンツを抽出する。さらに、コンテンツ抽出部240は、抽出したコンテンツに関する情報であるコンテンツ情報を、出力制御部250又はストレージ220に出力することもできる。
 出力制御部250は、抽出したコンテンツのユーザに対する出力を制御する。詳細には、出力制御部250は、コンテンツ情報及びそれに対応するコンテクスト情報に基づいて、ユーザに対してコンテンツ情報を出力する際の出力形式、出力する端末装置300、出力するタイミングといった出力方法等を選択する。なお、出力制御部250による出力方法の選択の詳細については後で説明する。さらに、出力制御部250は、選択した出力方法に基づいて、コンテンツ情報を送信部260又はストレージ220に出力する。
 送信部260は、ネットワークを介して端末装置300等と通信する通信装置によって実現される。送信部260は、出力制御部250が選択した端末装置300と通信し、当該端末装置300にコンテンツ情報を送信する。
(1-4.端末装置の機能構成)
 端末装置300は、携帯電話(スマートフォンを含む)、タブレット型又はノート型又はデスクトップ型のPC又はTV、携帯型又は設置型メディアプレーヤ(音楽プレーヤ、映像ディスプレイ等を含む)、携帯型又は設置型ゲーム機、又はウェアラブルコンピュータ等を含み、特に限定されない。端末装置300は、サーバ200から送信されたコンテンツ情報を受信し、ユーザに対して出力する。なお、端末装置300の機能は、例えば検出装置100と同じ装置によって実現されてもよい。また、システム10が複数の検出装置100を含む場合、その一部が端末装置300の機能を実現してもよい。
 図4は、本開示の第1の実施形態に係る端末装置300の概略的な機能構成を示す図である。図4に示すように、端末装置300は、受信部350と、出力制御部360と、出力部370とを含むことができる。
 受信部350は、ネットワークを介してサーバ200と通信する通信装置によって実現され、サーバ200から送信されたコンテンツ情報を受信する。さらに、受信部350は、コンテンツ情報を出力制御部360に出力する。
 出力制御部360は、例えばCPU等を用いてソフトウェア的に実現され、上記コンテンツ情報に基づいて、出力部370の出力を制御する。
 出力部370は、取得したコンテンツ情報をユーザに対して出力することが可能な装置で構成される。詳細には、出力部370は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置、スピーカ又はヘッドフォンなどの音声出力装置等を含みうる。
 さらに、端末装置300は、ユーザの入力を受け入れる入力部330と、端末装置300からサーバ200等へ情報等を送信する送信部340とをさらに有してもよい。具体的には、例えば、端末装置300は、上記入力部330で受け入れた入力に基づいて出力部370の出力を変化させてもよい。この場合、送信部340は、入力部330で受け入れた入力に基づいて、サーバ200に対して新たな情報の送信を要求する信号を送信してもよい。
 以上、本実施形態に係るシステム及び各装置の概略的な機能構成について説明した。なお、他の実施形態におけるシステムの構成は上記の例には限られず、さまざまな変形が可能である。例えば、既に述べたように、サーバ200の機能の一部又は全部が、検出装置100又は端末装置300によって実現されてもよい。具体的には、例えば、検出装置100においてサーバ200の機能が実現される場合、検出装置100は、少なくとも1つのセンシングデータを提供するセンサを含むセンシング部110と、コンテクスト情報取得部230及びコンテンツ抽出部240(上記説明ではサーバ200の機能構成として説明した)とを含みうる。また、例えば、端末装置300においてサーバ200の機能が実現される場合、端末装置300は、コンテンツを出力する出力部370と、コンテクスト情報取得部230及びコンテンツ抽出部240とを含みうる。なお、検出装置100又は端末装置300によってサーバ200の機能の全部が実現される場合、システム10は必ずしもサーバ200を含まなくてもよい。さらに、検出装置100と端末装置300とが同一の装置によって実現される場合には、システム10は当該装置の内部で完結してもよい。
(2.情報処理方法)
 次に、本開示の第1の実施形態における情報処理方法について説明する。まず、第1の実施形態における情報処理方法の大まかな流れを説明すると、サーバ200は、検出装置100により検出されたユーザの状態に関するセンシングデータを含む情報を解析し、解析から得られるユーザの状態を示すコンテクスト情報を取得する。さらに、サーバ200は、上記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出する。
 以下に、第1の実施形態における情報処理方法の詳細について、図5を参照して説明する。図5は、本開示の第1の実施形態における情報処理方法を示すシーケンス図である。
 まず、ステップS101では、検出装置100のセンシング部110がユーザの状態を示すセンシングデータを生成し、送信部130がセンシングデータをサーバ200に送信する。なお、センシングデータの生成及び送信は、例えば周期的に行われてもよく、他のセンシングデータに基づいてユーザが所定の状態であると判定された場合に行われてもよい。また、例えばセンシング部110が複数の種類のセンサを含むような場合、センシングデータの生成及び送信は、一括して実施されてもよいし、それぞれのセンサごとに異なるタイミングで実施されてもよい。
 次に、ステップS102では、サーバ200の受信部210が、検出装置100から送信されたセンシングデータを受信する。コンテクスト情報取得部230は、受信されたセンシングデータを取得する。センシングデータは、受信部210に受信された後、ストレージ220に一旦格納された上で、必要に応じてコンテクスト情報取得部230によって読み出されてもよい。
 また、必要に応じてステップS103が実行され、受信部210がネットワークを介して、ユーザに関する情報であるユーザプロファイルを取得してもよい。ユーザプロファイルには、例えば、ユーザの嗜好に関する情報(インタレストグラフ)、ユーザの交友関係に関する情報(ソーシャルグラフ)、ユーザのスケジュール、ユーザの顔等の画像データ、ユーザの声の特徴データ等の情報を含むことができる。さらに、必要に応じて、コンテクスト情報取得部230は、インターネットを介して例えば交通情報や放送番組表等のユーザプロファイル以外の様々な情報等を取得することもできる。なお、ステップS102及びステップS103の処理順序は、これに限定されるものではなく、同時であっても、逆であってもよい。
 ステップS104では、コンテクスト情報取得部230は、センシングデータを解析し、ユーザの状態を示すコンテクスト情報を生成し、生成したコンテクスト情報をコンテンツ抽出部240に出力する。具体的には、例えば、コンテクスト情報取得部230は、取得したセンシングデータに対応するキーワード(動作に関するセンシングデータであれば動作を表現するキーワード、ユーザの音声に関するセンシングデータであれば音声に対応するユーザの感情を表現するキーワード、ユーザの生体情報に関するセンシングデータであれば生体情報に対応するユーザの感情を表現するキーワード等)が含まれるコンテクスト情報を生成してもよい。また、コンテクスト情報取得部230は、センシングデータを解析して得られるユーザの感情を、例えば興奮及び鎮静を含む軸と、喜び及び哀しみを含む軸と、といったように、複数の軸によって表現される指標値を含むコンテクスト情報を生成してもよい。さらに、コンテクスト情報取得部230は、個々の感情を別々の指標値(例えば、興奮80、鎮静20、喜び60、といったような)として生成し、これらの指標値を総合した指標値を含むコンテクスト情報を生成してもよい。
 さらに、ステップS104において、コンテクスト情報取得部230は、取得したセンシングデータにユーザの位置情報が含まれていた場合には、具体的なユーザの位置情報を含むコンテクスト情報を生成してもよい。また、コンテクスト情報取得部230は、取得したセンシングデータにユーザの周囲に位置する人物又は端末装置300に関する情報が含まれていた場合には、ユーザの周囲の人物又は端末装置300に関する具体的な情報を含むコンテクスト情報を生成してもよい。
 ここで、コンテクスト情報取得部230は、生成されたコンテクスト情報を、センシングデータのタイムスタンプに基づくタイムスタンプと関連付けてもよいし、コンテクスト情報が生成された時刻に対応するタイムスタンプと関連付けてもよい。
 また、ステップS104において、コンテクスト情報取得部230は、センシングデータを解析する際に、ユーザプロファイルを参照してもよい。例えば、コンテクスト情報取得部230は、センシングデータに含まれる位置情報をユーザプロファイルに含まれるスケジュールと照合して、ユーザの位置する具体的な場所を特定してもよい。他にも、コンテクスト情報取得部230は、ユーザプロファイルに含まれるユーザの声の特徴データを参照して、センシングデータに含まれる音声情報を解析することができる。さらに、例えば、コンテクスト情報取得部230は、取得したユーザプロファイルを解析して得られたキーワード(ユーザの嗜好に対応するキーワード、ユーザの友人の名前等)が含まれるコンテクスト情報を生成してもよい。他にも、コンテクスト情報取得部230は、ユーザの交友の深さを示した指標値、又はユーザの行動予定情報が含まれるコンテクスト情報を生成してもよい。
 次に、ステップS105では、コンテンツ抽出部240は、コンテクスト情報取得部230が生成したコンテクスト情報に基づいて、ネットワークを介して取得可能なコンテンツの中から、1又は複数のコンテンツを抽出する。そして、コンテンツ抽出部240は、抽出したコンテンツに関する情報であるコンテンツ情報を出力制御部250又はストレージ220に出力する。
 具体的には、コンテンツ抽出部240は、例えば、コンテクスト情報に含まれるキーワード等によって表現されるユーザの状態に適した内容のコンテンツを抽出する。このとき、コンテンツ抽出部240は、コンテクスト情報に含まれるユーザの位置情報やユーザが使用する端末装置300に合わせたフォーマット(テキストファイル、静止画像ファイル、動画像ファイル、音声ファイル等)のコンテンツを抽出することもできる。さらに、コンテンツ抽出部240は、抽出した各コンテンツと抽出の際に用いたコンテクスト情報との間の適合性の程度を示す適合度を算出し、算出した適合度を各コンテンツのコンテンツ情報として出力してもよい。
 次に、ステップS106では、出力制御部250は、ユーザに対してコンテンツ情報を出力する際の出力方法、出力する端末装置300、出力するタイミング等を選択し、選択に関する情報を送信部260又はストレージ220に出力する。出力制御部250は、上記コンテンツ情報と、それに関連するコンテクスト情報に基づいて、上記選択を行う。
 具体的には、出力制御部250は、抽出されたコンテンツの映像や音声などの実体を出力するのか、コンテンツのタイトル等を並べたリストを出力するのか、最も適合度の高いコンテンツをエージェントにより推奨するのか等、コンテンツの出力方式を選択する。例えば、出力制御部250がコンテンツのタイトル等を並べたリストを出力した場合、各コンテンツに関する情報は、算出した適合度に従った順序で配列させてもよく、あるいは適合度とは別の、例えば再生時間等を基準にして配列されてもよい。また、出力制御部250は、端末装置300のうちの1つ又は複数の装置を、コンテンツ情報を出力する出力端末として選択する。例えば、出力制御部250は、コンテクスト情報に基づいてユーザの周囲に位置する端末装置300を特定し、抽出されたコンテンツ中で端末装置300で出力可能なフォーマット又はサイズを有するコンテンツを選択する。さらに、例えば、出力制御部250は、コンテクスト情報に含まれるユーザの行動予定情報に基づいて、コンテンツ情報を出力するタイミングを選択したり、ユーザの位置情報に基づいて、ユーザの周囲環境に合わせてコンテンツ再生時の音量等を決定したりする。
 ステップS107では、送信部260は、ネットワークを介して端末装置300と通信し、出力制御部250の選択に基づいてコンテンツ情報を送信する。
 次に、ステップS108では、端末装置300の受信部350が、上記コンテンツ情報を受信する。そして、出力制御部360が、受信されたコンテンツ情報に基づいて出力部370を制御する。
 ステップS109では、出力部370は、出力制御部360により制御され、コンテンツ情報(例えば、コンテンツ実体、又はタイトルなどの情報)をユーザに向けて出力する。
 また、図5のシーケンスには示されていないが、ステップS109の後、例えば、サーバ200は、ユーザが視聴したコンテンツの情報をユーザの視聴履歴として取得することができる。この場合、サーバ200は、履歴取得部(図3には示していない)を備え、履歴取得部は、取得した視聴履歴を学習することによりユーザの嗜好に関する情報を取得することができる。さらに、この取得したユーザの嗜好情報は、次回のコンテンツ抽出の際に用いることができる。他にも、サーバ200は、抽出したコンテンツに対するユーザの評価を取得することができる。この場合、端末装置300に備えられた入力部330がユーザの入力を受け付け、端末装置300からサーバ200に上記評価が送信される。この場合、サーバ200は、評価取得部(図3には示していない)をさらに備え、評価取得部が上記評価を蓄積、学習することにより、ユーザの嗜好に関する情報を取得する。
 さらなる変形例として、サーバ200は、ユーザから抽出のためのキーワードの入力を受け入れてもよい。受け入れるタイミングは、コンテンツの抽出を行う前であってもよく、一度抽出したコンテンツのコンテンツ情報をユーザに向けて出力した後であってもよい。また、入力を受け付ける装置は、サーバ200の入力部や、検出装置100のセンシング部110等とすることができ、特に限定されない。
 以下では、具体的な実施例を示しながら、本開示の第1の実施形態に係る情報処理の一例について説明する。なお、以下に示す実施例は、第1の実施形態に係る情報処理のあくまでも一例であって、第1の実施形態に係る情報処理が下記の例に限定されるものではない。
(2-1.第1実施例)
 以下に、第1実施例を図6及び図7を参照してさらに具体的に説明する。図6及び図7は、第1実施例を説明するための説明図である。第1実施例は、図6に示されるように、ユーザが自宅の居間のTVでサッカー中継を見ている場合を想定している。
 本実施例では、ユーザが携帯するスマートフォン100a、及びリストウェア100bが、検出装置100として機能する。スマートフォン100aでは、例えば、通信可能なWi-Fiのアクセスポイント100d及び電波強度から、ユーザが自宅居間にいるという位置情報を検出し、検出に基づくセンシングデータをサーバ200に送信する。さらに、サーバ200は、上記センシングデータに基づいて、ユーザが登録した情報によって自宅居間にあることが特定されているTV300aにインターネットなどを通じて別途アクセスし、TV300aの状態(電源状態、受信中のチャネル等の情報)に関する情報を取得することが可能である。上記情報によって、サーバ200のコンテクスト情報取得部230が、ユーザが自宅の居間におり、ユーザの周囲に位置する端末装置300としてTV300aがあり、上記TV300aが起動され且つチャネル8を受信している状態を把握することができる。
 次に、コンテクスト情報取得部230は、ネットワーク上で利用可能なチャネル8の番組表を、受信部210を介して取得する。図示された例において、コンテクスト情報取得部230は、取得された情報に基づいて、ユーザが視聴していると推定される番組がサッカーの試合中継であることや試合で対戦するサッカーチーム名、試合の開始日時等を特定することができる。
 ここで、上記のようなコンテクスト(ユーザが居間のTVでサッカー中継を視聴している)の最中に、ユーザが腕を突き上げるような動作を行った場合を想定する。このとき、リストウェア100bに含まれる加速度センサが、腕を突き上げたことによって発生した加速度の変化を示すセンシングデータをサーバ200に送信する。サーバ200では、コンテクスト情報取得部230が、送信されたセンシングデータの解析によってユーザの「腕を突き上げる」という動作が発生したことを特定する。コンテクスト情報取得部230は、既に特定された「サッカー中継を視聴している」というコンテクストにて「腕を突き上げる」動作が発生したことから、「ユーザがサッカー中継を視聴している際に、興奮して腕を突き上げた」ことを示すコンテクスト情報を生成する。
 次に、サーバ200では、コンテンツ抽出部240が、生成されたコンテクスト情報に基づいて、例えば、「興奮するようなサッカーの試合の一場面」といったコンテンツを抽出する。このとき、コンテンツ抽出部240は、コンテクスト情報に含まれる「サッカー」、「興奮」等のキーワードによってコンテンツを抽出してもよいし、スポーツの種類やシーンの特徴などを示す特徴量ベクトルなどを利用してコンテンツを抽出してもよい。さらに、コンテンツ抽出部240は、コンテクスト情報に基づいてユーザが居間のTV300aでサッカー中継を視聴しているという状態を把握できるため、抽出するコンテンツをTV300aでの出力に適したサイズの動画像に限定して抽出する。
 図7に示された例では、コンテンツ抽出部240によって、コンテクスト情報によって示されるユーザの状態に適したコンテンツとして複数のコンテンツが抽出されている。この場合、抽出した各コンテンツと抽出の際に用いたコンテクスト情報との間の適合性の度合いを示す適合度を算出し、算出した適合度を各コンテンツに関するコンテンツ情報に含める。さらに、出力制御部250は、TV300aにおいて、リスト形式でコンテンツ情報を出力することを選択する。具体的には、サーバ200の出力制御部250は、各コンテンツの適合度の順番(例えば、適合度が高いコンテンツのコンテンツ情報が先頭に示される)で各コンテンツのタイトル及びサムネイルが並んだリストを出力することを選択する。加えて、出力制御部250は、サッカー中継に関する情報を参照し、試合の前半が終了してハーフタイムに入ったタイミングで、リストを出力することを選択する。
 以上のようなサーバ200での処理によって、図7に示すように、ハーフタイムの開始とともに、TV300aの画面に、抽出されたコンテンツのタイトルやサムネイルが並んだリスト(LIST)が表示される。さらに、ユーザが上記リストの中から視聴したいコンテンツを選択することにより、選択したコンテンツが再生される。この場合、ユーザによるコンテンツの選択は、TV300aのリモートコントローラ(端末装置300の入力部330の例)等により入力される。
 以上で説明したような第1実施例では、腕を突き上げる動作のような、言葉にして表すことが難しいユーザの動作をリストウェア100bが検出し、サーバ200が当該動作に応じたコンテンツの抽出を行うことができる。このとき、ユーザが居間のTV300aでサッカー中継を観ているという状態も、スマートフォン100aによって提供された位置情報や、TV300aから提供される情報によって把握されていることによって、より適切なコンテンツの抽出が可能になる。
 また、本実施例では、ユーザがコンテンツの抽出を意図せずに実行した動作の検出をトリガとしてコンテンツが抽出される。これによって、ユーザの潜在的な欲求(興奮するようなサッカー中継のシーンを他にも観たい)を反映したコンテンツを抽出でき、ユーザは意外性又は驚きとともにコンテンツを楽しむことができうる。さらに、本実施例では、ユーザが抽出されたコンテンツを視聴するための端末装置300(TV300a)や、端末装置300の出力の状態(サッカー中継を出力中で、試合は間もなくハーフタイムに入る)が自動的に特定されるため、抽出されたコンテンツを、最適な端末装置、タイミング等で、ユーザに対して出力することができる。したがって、ユーザは抽出したコンテンツをより快適に楽しむことができる。
 さらに、例えば、ユーザが、リストを見て、リスト上に挙げられたコンテンツの中からある選手の動画像を抽出したいと考えた場合には、ユーザは、コンテンツ抽出のためのキーワード(例えば選手の名前)を入力してもよい。この場合、ユーザは、ユーザの携帯するスマートフォン100aを操作することにより上記キーワードの入力を行うことができる。すなわち、この場合には、スマートフォン100aは、ユーザの位置情報を提供する検出装置100として機能するとともに、ユーザの操作入力を受け付ける端末装置300としても機能していることになる。入力されたキーワードを受信したサーバ200では、コンテンツ抽出部240が、既に抽出されている複数のコンテンツの中から、キーワードに適合する1又は複数のコンテンツをさらに抽出する。このように、サーバ200は、センシングデータを解析して得られたコンテクスト情報に加えて、キーワードを用いて抽出を行うこともでき、ユーザにとってより適切なコンテンツの抽出を行うことができる。
 上記場合において、ユーザから入力されたキーワードが様々な意味を持つ場合には、コンテクスト情報取得部230は、センシングデータから得られたコンテクスト情報をキーワードとともに解析することで、ユーザの意図した意味を特定することができる。具体的には、ユーザからキーワード「おもしろい」が入力された場合、「おもしろい」には、「愉快」や「興味深い」等の意味が含まれる。キーワードが入力された際、コンテクスト情報取得部230は、例えば、ユーザの頭に装着された生体センサにより検出されたユーザの脳波を解析し、「ユーザは集中している」とのユーザのコンテクストを把握する。この場合、サーバ200は、「ユーザは集中している」というコンテクスト情報に基づいて、キーワード「おもしろい」のユーザの意図する意味は「興味深い」であると特定し、「興味深い」に応じたコンテンツを抽出する。
(2-2.第2実施例)
 以下に、第2実施例を図8を参照してさらに具体的に説明する。図8は、第2実施例を説明するための説明図である。図8に示されるように、第2実施例は、ユーザAが、ユーザAの自宅の居間で、友人のユーザBとTVでサッカー中継を見ながら歓談している場合を想定している。
 検出装置100にあたるユーザAの自宅の居間に設置された撮像装置100cによって、ユーザA及びBの顔が撮影される。撮像装置100cは、撮像装置100cの位置情報、ユーザA及びBの顔画像を含むセンシングデータをサーバ200に送信する。サーバ200では、コンテクスト情報取得部230がネットワークを介して取得したユーザプロファイルに含まれる顔画像データを参照することにより、送信されたセンシングデータに含まれる顔画像が、ユーザA及びBの顔画像であることを特定する。そして、コンテクスト情報取得部230は、センシングデータに含まれる上記情報に基づいて、ユーザA及びBがユーザAの自宅居間にいることを把握する。さらに、コンテクスト情報取得部230は、撮像装置100cから送信されたユーザA及びBの動作(例えば、時折互いに顔が向き合う)の動画像に基づいて、ユーザAとユーザBとが歓談中であることも把握する。
 サーバ200では、コンテクスト情報取得部230が、ユーザA及びBのそれぞれのインタレストグラフが含まれるユーザプロファイルをネットワークを介して取得する。そして、コンテクスト情報取得部230は、取得したインタレストグラフに基づいて、ユーザA及びBのそれぞれの嗜好(例えば、「ユーザAはバラエティ番組を見ているときが楽しい」「ユーザAのお気に入りのグループは、「ABC37」である」、「ユーザBの楽しい時間の過ごし方はサッカーをすることである」等)を把握することができる。
 一方、ユーザAの自宅居間に設置されたWi-Fiアクセスポイント100dは、自宅居間にあるTV300bと、居間の壁面に映像を映写するプロジェクター300cと通信する。この通信に関する情報をWi-Fiアクセスポイント100dがサーバ200に送信することにより、サーバ200のコンテクスト情報取得部230が、利用可能な端末装置300としてTV300bとプロジェクター300cとがあることを特定することができる。
 ここで、上記のようなコンテクスト(ユーザA及びBが歓談している)の最中に、ユーザAが楽しくて笑い声をあげた場合を想定する。撮像装置100cとともに自宅居間に設置されたマイクロフォン100eは、上記笑い声を検出し、笑い声の音声データを含むセンシングデータをサーバ200に送信する。サーバ200では、コンテクスト情報取得部230が、取得した上記ユーザプロファイルに含まれる声の特徴情報を参照し、送信されたセンシングデータにユーザAの笑い声が含まれることを特定する。さらに、笑い声を発した人物を特定したコンテクスト情報取得部230は、上記ユーザプロファイルに含まれるユーザAの音声と感情との相関関係についての情報(大きな笑い声ならば楽しい気分、すすり泣く声ならば悲しい気分等)を参照し、笑い声を発した際のユーザAの感情を示すキーワード(例えば「楽しい」)を含むコンテクスト情報を生成する。なお、第2実施例においては、ユーザAの笑い声をマイクロフォン100eで検出するものとして説明するが、例えば、マイクロフォン100eで検出する音声としては、「わーお!」といった歓声や、鼻をすする音や、せき込む音、発話音声等であってもよい。また、マイクロフォン100eは、ユーザBの動作に起因する音を検出してもよい。
 本実施例において、サーバ200のコンテンツ抽出部240は、2通りの方法でコンテンツの抽出を行うことが可能である。第1の方法において、コンテンツ抽出部240は、コンテクスト情報に含まれるキーワード「楽しい」と、ユーザAの嗜好(「ユーザAはバラエティ番組を見ているときが楽しい」、「ユーザAのお気に入りのグループは、「ABC37」である」)とに基づき、例えば、「ABC37」が出演するバラエティ番組のコンテンツを抽出する。
 一方、第2の方法において、コンテンツ抽出部240は、第1の方法で用いた複数の情報に加えて、コンテクスト情報に含まれるユーザBの嗜好(ユーザBは、サッカーすることが楽しい)も用いて、コンテンツを抽出する。この場合、抽出コンテンツとしては、例えば、サッカー選手と「ABC37」とが出演するバラエティ番組や「ABC37」がサッカーに挑戦するバラエティ番組といったサッカーに関するバラエティ番組のコンテンツが挙げられる。
 本実施例において、コンテンツ抽出部240は、上記の第1の方法又は第2の方法のいずれかを用いてコンテンツを抽出してもよいし、両方の方法によってそれぞれコンテンツを抽出してもよい。
 ここで、サーバ200では、Wi-Fiアクセスポイント100dを介してTV300bと通信することによって、TV300bが起動されていることが認識されている。一方、同様の通信によって、プロジェクター300cが起動されていないことも認識されているものとする。この場合、コンテクスト情報取得部230は、ユーザA及びBが、TV300bを視聴していることを示す情報をさらに含むコンテクスト情報を生成する。出力制御部250は、上記コンテクスト情報に基づいて、TV300bの視聴を邪魔しないように、コンテンツ情報を出力する端末装置300としてプロジェクター300cを選択する。さらに、出力制御部250は、コンテンツ情報の中から各動画像のタイトル及び各動画像の代表場面の静止画像を含むリストを、プロジェクター300cによって映写することを選択する。
 また、図示された例では、2つの方法によってそれぞれ複数のコンテンツが抽出されたことから、出力制御部250は、それぞれの方法で抽出されたコンテンツ情報を別々に出力することを選択している。具体的には、図8に示すように、プロジェクター300cは、自宅居間のTV300bの近傍の2つの壁面W1,W2にそれぞれ映像を投影することが可能である。そこで、出力制御部250は、第1の方法で抽出されたバラエティ番組のコンテンツ情報を右側の壁面W1に映写し、第2の方法で抽出されたサッカーに関するバラエティ番組のコンテンツ情報を左側の壁面W2に映写することを決定する。
 さらに、図示された例において、出力制御部250は、抽出された各コンテンツに関連付けられた初回放映日時などの情報を参照して、コンテンツを壁面W1,W2のTV300bに近い方から新しい順に配列させる。例えば、最新のコンテンツ情報は、壁面W1,W2のTVに最も近い部分に映写される。一方、最も古いコンテンツ情報は、壁面W1,W2のTVから最も遠い部分に映写される。さらに、コンテクスト情報等に基づいて特に推奨されるコンテンツがある場合(例えば、最新のコンテンツを特に推奨する)には、図8に示すように、推奨されるコンテンツのコンテンツ情報(INFO)をTV300bの画面の左上部分にも小さく表示してもよい。
 さらに、ユーザAが、映写されたコンテンツ情報の中から視聴したいコンテンツを選択することにより、選択したコンテンツがTV300bの画面で再生される。このとき、ユーザAは、例えば壁面W1,W2に映写された画像内の位置を選択可能なコントローラによってコンテンツを選択してもよいし、コンテンツのタイトルなどを読み上げる音声入力によってコンテンツを選択してもよい。音声入力の場合、ユーザAの発話音声はマイクロフォン100eによって検出されてもよい。
 以上で説明したような第2実施例では、ユーザAの感情のような、言葉にして表すことが難しいユーザの状態であっても、ユーザの状態に応じたコンテンツの抽出を行うことができる。また、コンテクスト情報取得部230は、センシングデータの解析の際、ユーザの動作と感情との関係についての情報を含むユーザプロファイルを参照することから、より精度よく解析することができる。さらに、コンテクスト情報取得部230は、ユーザプロファイルに含まれるユーザBの嗜好情報にも基づいてコンテンツの抽出を行うため、ユーザA及びBが同時に楽しむことができるコンテンツも抽出することができる。
(2-3.第3実施例)
 以下に、第3実施例を図9及び図10を参照してさらに具体的に説明する。図9及び図10は、第3実施例を説明するための説明図である。第3実施例は、図9に示されるように、ユーザが、電車に乗っており、音楽を聴きながらスマートフォン100fの画面を見ている場合を想定している。
 ユーザは検出装置100としてのスマートフォン100fを携帯しており、スマートフォン100fは、スマートフォン100fが備えるGNSS受信機によりユーザの位置情報を検出し、上記検出に基づくセンシングデータをサーバ200に送信する。さらに、スマートフォン100fは、ユーザに装着されたヘッドフォン300dとBluetooth(登録商標)で通信し、ヘッドフォン300dへ音楽を出力するための音声信号を送信している。スマートフォン100fは、ユーザがヘッドフォン300dを使用している旨の情報を、上記位置情報と共にサーバ200に送信する。
 一方、サーバ200では、コンテクスト情報取得部230が、上記のようにスマートフォン100fから送信される情報に加えて、スケジュール情報が含まれるユーザプロファイルを、受信部210を介してネットワーク上から取得する。そして、コンテクスト情報取得部230は、スマートフォン100fから受信したユーザの位置情報と、ユーザのスケジュール情報(より具体的には、ユーザは通勤中であり、地下鉄3号線に乗車中)とに基づき、ユーザが電車の中にいることを把握する。さらに、コンテクスト情報取得部230は、センシングデータに含まれる情報を解析して、ユーザがスマートフォン100fと共にヘッドフォン300dを使用しているという状態も把握する。
 次に、ユーザがスマートフォン100fに表示されたソーシャルメディアの画面で友人のブログを見て、うれしそうな表情を示した場合を想定する。スマートフォン100fに備えられたカメラ110fは、ユーザの上記表情をとらえた画像を撮像する。撮像された画像はサーバ200に送信される。サーバ200では、コンテクスト情報取得部230は、画像を解析し、ユーザの表情が「うれしそうな表情」であることを特定する。さらに、コンテクスト情報取得部230が、そのような表情によって表現されるユーザの感情に対応するキーワード(例えば「うれしい」)が含まれるコンテクスト情報を生成する。なお、上記キーワードは、ユーザが表情を浮かべた際のユーザの感情を表現するようなキーワードに限定されるものではなく、例えば、悲しい表情であった場合には、「励ます」といったキーワードであってもよい。
 コンテンツ抽出部240は、コンテクスト情報に含まれるキーワード「うれしい」に基づいて、スマートフォン100fで出力することが可能なコンテンツの抽出を行う。さらに、上記抽出の際、コンテンツ抽出部240は、ユーザプロファイルに含まれるスケジュール情報から、ユーザが電車を降りるまで残り10分であることを認識し、動画像や音声の場合は再生時間が10分以内のコンテンツに限定して抽出を実施してもよい。結果として、コンテンツ抽出部240は、うれしいイベントを記録したユーザのブログ、うれしい記事が書かれたニュースサイト、ユーザがうれしく感じた楽曲の音楽データを抽出する。サーバ200は、抽出されたコンテンツに関するコンテンツ情報(タイトル、フォーマット等)を出力する。
 サーバ200では、出力制御部250が、コンテクスト情報に含まれる利用可能な端末装置300の情報を参照して、コンテンツ情報を出力する端末装置300としてスマートフォン100fを選択する。つまり、本実施例において、スマートフォン100fは、検出装置100としても、端末装置300としても機能している。サーバ200から送信されたコンテンツ情報は、スマートフォン100fの画面に表示される。この場合、例えば、図10に示されるように、スマートフォン100fの画面には、エージェントが表示され、エージェントが抽出されたコンテンツを薦めるような表示(例えば、キャラクターが画面に表示され、キャラクターの吹き出しには、「Jimmyのサイトがお奨めだよ!」との表示される)がなされる。この場合、ユーザがスマートフォン100fを操作することにより、所望のコンテンツを再生することができる。また、ユーザは、スマートフォン100fを操作することにより、再生したコンテンツに対する評価を入力してもよく、さらに、コンテンツに対する評価だけなく、コンテンツの出力のやり方(出力タイミング等)に対する評価を入力してもよい。
 なお、上記実施例において、電車を降りるまでの残り時間がない場合には、ユーザの乗り換えを妨げないように、音楽データのみを抽出、出力してもよい。この場合、音楽データは、スマートフォン100fを介してヘッドフォン300dから出力される。また、例えば、ユーザが自動車を運転中である場合には、自動車に設置されたスピーカにより再生できるコンテンツのみを抽出するようにしてもよい。
 第3実施例によれば、サーバ200は、ユーザプロファイルを解析して得られたユーザの行動予定情報に対応して、コンテンツの抽出や出力を行うことができる。したがって、コンテンツの抽出、出力がユーザの状態により応じて実施されるため、ユーザはコンテンツをより快適に楽しむことができる。
(2-4.第4実施例)
 以下に、第4実施例を図11を参照してさらに具体的に説明する。図11は、第4実施例を説明するための説明図である。第4実施例は、図11に示されるように、ユーザAが、学校の教室で友人たち(友人B、C、D)と休憩時間を過ごしている場合を想定している。
 第1実施例と同様に、ユーザAは検出装置100としてのスマートフォン100gを携帯しており、スマートフォン100gによりユーザAの位置情報が検出される。さらに、スマートフォン100gは、ユーザAの周囲にいる友人B、C、Dが携帯するスマートフォン100h、100i、100jとBluetooth(登録商標)通信することにより、周囲に位置する端末装置としてスマートフォン100h、100i、100jを検出する。スマートフォン100gは、検出された他の端末装置(つまりスマートフォン100h、100i、100j)を示す情報をサーバ200に送信する。また、スマートフォン100gは、GNSS受信機やWi-Fi通信装置などによって取得されるユーザAの位置情報を、サーバ200に送信する。
 サーバ200では、コンテクスト情報取得部230が、スマートフォン100gから受信された位置情報に基づいて、ユーザAが学校の教室にいるという状態を把握する。さらに、コンテクスト情報取得部230は、スマートフォン100gから受信した情報に基づいて、ユーザAの周囲に位置する他の端末装置としてスマートフォン100h、100i、100jを認識する。加えて、サーバ200は、上記各スマートフォンに関連付けられたアカウント情報をネットワークを介して参照し、スマートフォン100h、100i、100jの持ち主である友人B、C、Dを、ユーザAの周囲にいる人物として特定してもよい。さらに、サーバ200では、コンテクスト情報取得部230が、上記のようにスマートフォン100gから送信される情報に加えて、ユーザAのスケジュール情報が含まれるユーザプロファイルを、受信部210を介してネットワーク上から取得する。コンテクスト情報取得部230は、上記スケジュール情報により、ユーザAは休憩時間中であるとするコンテクストも把握することができる。
 さらに、コンテクスト情報取得部230は、ユーザAの周囲にいる人物として特定された友人B、C、Dについて、ユーザAのユーザプロファイルに含まれるソーシャルグラフから情報を抽出してもよい。より具体的には、コンテクスト情報取得部230は、取得したソーシャルグラフに基づいて、ユーザAと友人B、C、Dとの交友関係に関する情報(例えば、親友及び家族ならば5、クラスメートならば4、近所づきあい程度ならば1といった、親しさの度合いや関係を指標値)が含まれるコンテクスト情報を生成する。
 このような情報を含むコンテクスト情報に基づいて、コンテンツ抽出部240は、ユーザAと友人B、C、Dとの交友関係を反映したコンテンツの抽出を実施してもよい。具体的には、例えば、友人B、C、DがユーザAとは特に親しい関係でないことが交友関係情報から認識される場合には、コンテンツ抽出部240は、ユーザAのプライベートなコンテンツ(ホームビデオで撮影されたユーザAの動画像等)が抽出されないようにする。なお、友人B、C、DがユーザAとは特に親しい関係である場合には、コンテンツ抽出部240は、予め公開可能であることが指定された、ユーザAのプライベートなコンテンツを抽出してもよい。また、ユーザAにより人物ごとに開示できる開示レベル(例えば、友人Eに対してはプライベートに関するコンテンツを公開する、友人Fに対してはプライベートに関するコンテンツを公開しないといったコンテンツの開示範囲を人物ごとに設定した情報)を記載した開示レベル情報をあらかじめ作成しておき、この開示レベル情報に従ってコンテンツの抽出が実施されてもよい。
 次に、ユーザAが休憩中にテニスのショットのような動作を行なった場合を想定する。第1実施例と同様に、ユーザAの腕に装着されたリストウェア100mに含まれる加速度センサが、上記動作により発生した加速度変化を示すセンシングデータをサーバ200に送信する。サーバ200では、コンテクスト情報取得部230が、送信されたセンシングデータの解析によってユーザAがテニスのショット動作を行ったことを特定する。さらに、コンテクスト情報取得部230は、ユーザAの上記動作に対応するようなキーワード(例えば「テニス」「ショット」)が含まれるコンテクスト情報を生成する。
 サーバ200では、コンテクスト抽出部240が、コンテクスト情報に含まれるキーワード「テニス」及び「ショット」と端末装置情報とに基づいて、テニスのショットの動画像を抽出し、抽出された動画像に関するコンテンツ情報を出力する。抽出の際には、先に説明したようにユーザAのプライベートなコンテンツは抽出されないため、例えば、ホームビデオで撮影されたユーザAがテニスをする動画像等は抽出されることはない。なお、本実施例においては、1つの動画像が抽出されたと想定する。
 サーバ200では、出力制御部250が、コンテクスト情報に含まれる端末装置情報を参照して、コンテンツ情報を出力する端末装置300としてスマートフォン100g、100h、100i、100jを選択する。より具体的には、出力制御部250は、抽出された動画像が1つであるため、この動画像をユーザAの携帯するスマートフォン100gに表示させ、スマートフォン100h、100i、100jにも同時に表示させることを選択する。
 さらに、友人Bが、スマートフォン100hに表示されたコンテンツを見て「すごい!」と叫んだ場合には、友人Bの叫び声がスマートフォン100hに備えられたマイクロフォンにより検出され、この検出に基づくセンシングデータがサーバ200に送信される。この場合、サーバ200が、上記センシングデータを取得したことをトリガにして、コンテクスト情報の生成とコンテンツの抽出処理とを行い、抽出されたコンテンツは、ユーザAや友人B、C、Dに対して出力される。さらに新たなユーザA等の状態が検出された場合には、サーバ200により、検出された新たなユーザA等の状態に応じた新たなコンテンツが抽出されることとなる。
 なお、上記実施例においては、コンテンツ情報は、各スマートフォンに対して同時に出力されるとしたが、これに限定されるものではなく、コンテンツ情報は、異なるタイミングで各スマートフォンに表示させてもよい。例えば、友人Cがスマートフォン100iを操作していた場合には、スマートフォン100iには、当該操作が終わったことが確認された後に、他のスマートフォンとは異なったタイミングで、コンテンツ情報を表示させてもよい。また、各スマートフォンに表示させるタイミングや視聴したいコンテンツを、ユーザAがスマートフォン100gを操作することにより入力してもよい。さらに、周囲の友人のうち友人Dがフィーチャーフォンを携帯していた場合には、以下のように表示させることもできる。例えば、当該友人Dのフィーチャーフォンには、フィーチャーフォンの画面表示機能の能力に応じて、各スマートフォンに表示されたコンテンツに対応するテキストや静止画像からなるコンテンツを表示させてもよい。
 第4実施例においては、コンテンツ情報は、ユーザAの携帯するスマートフォン100gだけでなく、周囲の友人の携帯する各スマートフォンにも出力することができ、コンテンツを周囲の友人と共有することができる。さらに、サーバ200は、ユーザAの交友関係情報に応じてコンテンツの抽出を行うことから、ユーザAが友人等に見せたくないプライベート映像等が友人のスマートフォンに表示されることがなく、ユーザAは安心してコンテンツを楽しむことができる。
(3.第2の実施形態)
 第2の実施形態は、ユーザの状態を示すコンテクスト情報を、コンテクスト情報に対応するコンテンツのメタ情報として別途利用する。このメタ情報は、例えば第1の実施形態において説明されたコンテンツの抽出を行う際に利用される。つまり、本実施形態では、コンテンツを抽出する際に、コンテンツに関連付けられたメタ情報(過去のコンテンツ情報に対応する)とコンテクスト情報とを用いる(例えば、メタ情報とコンテクスト情報とを照合したり、比較したりする)ことができる。したがって、よりユーザの状態にあったコンテンツを抽出することができるようになる。
 以下に、本開示の第2の実施形態を図を参照して説明する。なお、第2の実施形態に係るシステムは、検出装置100、端末装置300及びサーバ400を含む。なお、検出装置100、端末装置300の機能構成は、第1の実施形態と同様であるため、ここでは説明を省略する。
(3-1.サーバの機能構成)
 第2の実施形態に係るサーバ400の概略的な機能構成を説明する。図12は、第2の実施形態に係るサーバ400の概略的な機能構成を示す。図12からわかるように、第2の実施形態に係るサーバ400は、第1の実施形態に係るサーバ200と同様に、受信部210と、ストレージ220と、コンテクスト情報取得部230と、コンテンツ抽出部240と、送信部260とを含むことができる。さらに、サーバ400は、メタ情報処理部470も含むことができる。なお、コンテクスト情報取得部230と、コンテンツ抽出部240と、メタ情報処理部470とは、例えばCPU等などを用いてソフトウェア的に実現される。
 メタ情報処理部470は、コンテクスト情報取得部230で生成したコンテクスト情報を、コンテンツ抽出部240が上記コンテクスト情報に基づいて抽出した1又は複数のコンテンツにメタ情報として関連付ける。そして、メタ情報処理部470は、コンテクスト情報に基づくメタ情報を、送信部260又はストレージ220に出力することもできる。なお、サーバ400の受信部210と、ストレージ220と、コンテクスト情報取得部230と、コンテンツ抽出部240と、送信部260とは、第1の実施形態と同様であるため、ここでは説明を省略する。
(3-2.情報処理方法)
 図13は、本開示の第2の実施形態における情報処理の方法を示すシーケンス図ある。図13を参照して、第2の実施形態の情報処理の方法を説明する。まず、ステップS101~ステップS104が実行される。これらのステップは、第1の実施形態で図5に示されたものと同様であるため、ここでは説明を省略する。
 ステップS205では、サーバ400のコンテンツ抽出部240は、生成されたコンテクスト情報に基づいて、ネットワークを介して取得可能な膨大なコンテンツの中からコンテクスト情報に対応する1又は複数のコンテンツを抽出する。具体的には、コンテンツ抽出部240は、コンテクスト情報に含まれるユーザの位置情報、ユーザが使用している端末装置情報等に基づいて、ユーザが視聴している動画像や楽曲等のコンテンツを抽出する。より具体的には、コンテンツ抽出部240は、センシングデータが取得された時刻と同じ時刻のタイムスタンプと関連付けられた動画像等を抽出してもよい。そして、サーバ400は、抽出されたコンテンツに関するコンテンツ情報をメタ情報処理部470又はストレージ220に出力する。
 ステップS206では、メタ情報処理部470は、生成されたコンテクスト情報を、抽出されたコンテンツにメタ情報として関連付ける。抽出されたコンテンツには、ステップS205における抽出の際に用いられた情報だけでなく、コンテクスト情報に含まれる他の情報(例えば、センシングデータを解析して得られたユーザの生体情報等)も共に関連付けられる。そして、メタ情報処理部470は、コンテクスト情報に基づくメタ情報と関連付けたコンテンツの情報を、送信部260又はストレージ220に出力する。
 図13には示されてはいないが、サーバ400では、ステップS206の後、第1の実施形態と同様の処理(端末装置300で出力するためのコンテンツの抽出)の際に、メタ情報処理部470によってコンテンツに関連付けられたメタ情報を利用することができる。具体的には、コンテンツ抽出部240は、コンテンツに関連付けられたメタ情報(過去のコンテクスト情報に対応する情報を含む)について、新たにコンテクスト情報取得部230が取得したコンテクスト情報と比較、照合を行う。これによって、よりユーザの状態(コンテクスト)に応じたコンテンツの抽出を行うことができる。
 以下では、具体的な実施例を示しながら、本開示の第2の実施形態に係る情報処理の例について説明する。なお、以下に示す実施例は、第2の実施形態に係る情報処理のあくまでも一例であって、第2の実施形態に係る情報処理が下記の例に限定されるものではない。
(3-3.第5実施例)
 以下に、第5実施例を図14を参照してさらに具体的に説明する。図14は、第5実施例を説明するための説明図である。第5実施例は、図14の上段に示されるように、ユーザAが、野外コンサート会場で音楽鑑賞している場合を想定している。
 第1実施例と同様に、ユーザAは検出装置100としてスマートフォン100pを携帯しており、スマートフォン100pによりユーザAの位置情報が検出される。さらに、スマートフォン100pは、上記検出に基づくセンシングデータをサーバ400に送信する。そして、サーバ400では、コンテクスト情報取得部230が、取得したセンシングデータを解析し、ユーザAが野外コンサート会場にいるというユーザAの位置情報を把握する。さらに、コンテクスト情報取得部230は、上記位置情報に基づいて、野外コンサート会場のスケジュール情報をネットワークを介して取得し、上記コンサート会場で行われているコンサートを特定する。
 次に、ユーザAがコンサート鑑賞中に、ユーザAが興奮した場合を想定する。検出装置100としてユーザAの手首に取りつけられたリストウェア100rに含まれる脈拍センサが、ユーザAの興奮状態での脈拍を検出し、センシングデータをサーバ400に送信する。サーバ400では、コンテクスト情報取得部230が、センシングデータを解析し、ユーザの脈拍情報を含むコンテクスト情報を生成する。
 なお、ユーザAの友人である友人Bが上記コンサート会場で同じコンサートを鑑賞していたことを把握することができるようなセンシングデータが検出された場合には、そのセンシングデータを解析して得られた情報も、コンテクスト情報に含まれていてもよい。
 次に、サーバ400のコンテンツ抽出部240は、特定されたコンサートに関する情報と、センシングデータのタイムスタンプとに基づいて、1又は複数のコンテンツの抽出を行う。より具体的には、コンテンツ抽出部240は、上記タイムスタンプの示す時刻と同じ又は近い時刻のタイムスタンプと関連付けられた上記コンサートに関するコンテンツを抽出する。抽出されるコンテンツとしては、例えば、コンサート会場に設置されたカメラ510で撮影され、コンテンツサーバ520において記録された上記コンサートの動画像、上記コンサートで演奏された楽曲データ、上記コンサートの観客によるコンサートに関するツイート等が挙げられる。
 サーバ400では、メタ情報処理部470が、先に生成したコンテクスト情報を、抽出されたコンテンツにメタ情報として関連付ける。さらに、メタ情報処理部470は、関連付けたメタ情報を出力する。
 さらに、上記のような本実施例の処理が実行された後に、第1の実施形態と同様の処理によってメタ情報を利用してコンテンツが抽出される例について説明する。以下の説明においては、図14の下段に示されるように、ユーザが自宅でCD鑑賞しており、ユーザが、鑑賞していた音楽に感動して興奮した場合を想定している。
 自宅居間で音楽の鑑賞しているユーザの手首に取りつけられた脈拍センサ110sが、ユーザの興奮状態での脈拍を検出し、センシングデータをサーバ400に送信する。サーバ400では、コンテクスト情報取得部230が、上記センシングデータを解析し、ユーザの脈拍情報を含むコンテクスト情報を生成する。さらに、コンテンツ抽出部240は、上記コンテクスト情報に含まれる脈拍情報と、各コンテンツのメタ情報とを比較、照合を行い、上記コンテクスト情報に適合したコンテンツを抽出する。より具体的には、コンテンツ抽出部240は、例えば、コンテクスト情報に含まれる脈拍数と同程度の脈拍数をメタ情報として有する上記コンサート会場でユーザが鑑賞していた楽曲を抽出する。
 第5実施例によれば、サーバ400は、センサ110sにより検出されたユーザの脈拍のような言葉にして具現化することが難しいユーザの状態であっても、ユーザの状態を示すコンテクスト情報としてコンテンツに関連付けることができる。したがって、第1の実施形態においてコンテンツの抽出を行う際に、コンテクスト情報に基づくメタ情報もコンテンツの抽出の際に利用することができることから、よりユーザの状態に応じたコンテンツの抽出を行うことができる。
(4.ハードウェア構成)
 次に、図15を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図15は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における検出装置100、サーバ200、端末装置300を実現しうる。
 情報処理装置900は、CPU901、ROM(Read Only Memory)903、及びRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、センサ935を含んでもよい。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP(Digital Signal Processor)などの処理回路を有してもよい。
 CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、及びRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 入力装置915は、例えば、ボタン、キーボード、タッチパネル、マウスなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応したスマートフォンなどの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD、有機ELディスプレイなどの表示装置、スピーカ及びヘッドフォンなどの音声出力装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキスト又は画像などの映像として出力したり、音声又は音響などの音声として出力したりする。
 ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。
 ドライブ921は、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
 接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
 通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、WUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信又は衛星通信などである。
 センサ935は、例えば、モーションセンサ、サウンドセンサ、生体センサ、または位置センサなどの各種のセンサを含む。また、センサ935は、撮像装置を含んでもよい。
 以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(5.補足)
 なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又はシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる前記ユーザの状態に関するコンテクスト情報を取得するコンテクスト情報取得部と、前記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出するコンテンツ抽出部と、を備える、情報処理装置。
(2)前記少なくとも1つのセンシングデータは、前記ユーザの動作を検出するモーションセンサによって提供される、前記(1)に記載の情報処理装置。
(3)前記少なくとも1つのセンシングデータは、前記ユーザの周囲で発生した音を検出するサウンドセンサによって提供される、前記(1)又は(2)に記載の情報処理装置。
(4)前記少なくとも1つのセンシングデータは、前記ユーザの生体情報を検出する生体センサによって提供される、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)前記少なくとも1つのセンシングデータは、前記ユーザの位置を検出する位置センサによって提供される、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)前記情報は、前記ユーザのユーザプロファイル情報を含む、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)前記1又は複数のコンテンツの前記ユーザへの出力を制御する出力制御部をさらに備える、前記(1)~(6)のいずれか1項に記載の情報処理装置。
(8)前記出力制御部は、前記コンテクスト情報に基づいて前記1又は複数のコンテンツの出力を制御する、前記(7)に記載の情報処理装置。
(9)前記1又は複数のコンテンツを出力する出力部をさらに備える、前記(8)に記載の情報処理装置。
(10)前記コンテンツ抽出部は、前記1又は複数のコンテンツと前記コンテクスト情報との適合度を算出する、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)前記1又は複数のコンテンツを示す情報が前記適合度に従って配列されて出力されるように前記1又は複数のコンテンツの前記ユーザへの出力を制御する出力制御部をさらに備える、前記(10)に記載の情報処理装置。
(12)前記1又は複数のコンテンツに、前記コンテクスト情報に基づくメタ情報を関連付けるメタ情報処理部をさらに備える、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)前記少なくとも1つのセンシングデータを提供するセンサをさらに備える、前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、前記ユーザに関するコンテクスト情報を取得することと、プロセッサが、前記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出することと、を含む情報処理方法。
(15)ユーザ関する少なくとも1つのセンシングデータを含む情報を解析して得られる、前記ユーザに関するコンテクスト情報を取得する機能と、前記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出する機能と、をコンピュータに実現させるためのプログラム。
 10  システム
 100  検出装置
 100a、100g、100h、100i、100j  スマートフォン
 100b、100m、100r  リストウェア
 100c  撮像装置
 100d  アクセスポイント
 100e、100f  マイクロフォン
 110  センシング部
 110f、510  カメラ
 110s  脈拍センサ
 130  送信部
 200、400  サーバ
 210  受信部
 220  ストレージ
 230  コンテクスト情報取得部
 240  コンテンツ抽出部
 250  出力制御部
 260、340  送信部
 300  端末装置
 300a、300b  TV
 300c  プロジェクター
 300d  ヘッドフォン
 330  入力部
 350  受信部
 360  出力制御部
 370  出力部
 470  メタ情報処理部
 520  コンテンツサーバ

Claims (15)

  1.  ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、前記ユーザの状態に関するコンテクスト情報を取得するコンテクスト情報取得部と、
     前記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出するコンテンツ抽出部と、
    を備える、情報処理装置。
  2.  前記少なくとも1つのセンシングデータは、前記ユーザの動作を検出するモーションセンサによって提供される、請求項1に記載の情報処理装置。
  3.  前記少なくとも1つのセンシングデータは、前記ユーザの周囲で発生した音を検出するサウンドセンサによって提供される、請求項1に記載の情報処理装置。
  4.  前記少なくとも1つのセンシングデータは、前記ユーザの生体情報を検出する生体センサによって提供される、請求項1に記載の情報処理装置。
  5.  前記少なくとも1つのセンシングデータは、前記ユーザの位置を検出する位置センサによって提供される、請求項1に記載の情報処理装置。
  6.  前記情報は、前記ユーザのプロファイル情報を含む、請求項1に記載の情報処理装置。
  7.  前記1又は複数のコンテンツの前記ユーザへの出力を制御する出力制御部をさらに備える、請求項1に記載の情報処理装置。
  8.  前記出力制御部は、前記コンテクスト情報に基づいて前記1又は複数のコンテンツの出力を制御する、請求項7に記載の情報処理装置。
  9.  前記1又は複数のコンテンツを出力する出力部をさらに備える、請求項8に記載の情報処理装置。
  10.  前記コンテンツ抽出部は、
     前記1又は複数のコンテンツと前記コンテクスト情報との適合度を算出する、請求項1に記載の情報処理装置。
  11.  前記1又は複数のコンテンツを示す情報が前記適合度に従って配列されて出力されるように前記1又は複数のコンテンツの前記ユーザへの出力を制御する出力制御部をさらに備える、請求項10に記載の情報処理装置。
  12.  前記1又は複数のコンテンツに、前記コンテクスト情報に基づくメタ情報を関連付けるメタ情報処理部をさらに備える、請求項1に記載の情報処理装置。
  13.  前記少なくとも1つのセンシングデータを提供するセンサをさらに備える、請求項1に記載の情報処理装置。
  14.  ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、前記ユーザの状態に関するコンテクスト情報を取得することと、
     プロセッサが、前記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出することと、
     を含む情報処理方法。
  15.  ユーザに関する少なくとも1つのセンシングデータを含む情報を解析して得られる、前記ユーザの状態に関するコンテクスト情報を取得する機能と、
     前記コンテクスト情報に基づいて、コンテンツ群の中から1又は複数のコンテンツを抽出する機能と、
     をコンピュータに実現させるためのプログラム。
PCT/JP2015/085377 2015-02-23 2015-12-17 情報処理装置、情報処理方法及びプログラム WO2016136104A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017501873A JPWO2016136104A1 (ja) 2015-02-23 2015-12-17 情報処理装置、情報処理方法及びプログラム
US15/548,331 US20180027090A1 (en) 2015-02-23 2015-12-17 Information processing device, information processing method, and program
CN201580076170.0A CN107251019A (zh) 2015-02-23 2015-12-17 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-033055 2015-02-23
JP2015033055 2015-02-23

Publications (1)

Publication Number Publication Date
WO2016136104A1 true WO2016136104A1 (ja) 2016-09-01

Family

ID=56788204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085377 WO2016136104A1 (ja) 2015-02-23 2015-12-17 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20180027090A1 (ja)
JP (1) JPWO2016136104A1 (ja)
CN (1) CN107251019A (ja)
WO (1) WO2016136104A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087779A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019148919A (ja) * 2018-02-26 2019-09-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供システム及び情報提供方法
JP2020035406A (ja) * 2018-08-31 2020-03-05 大日本印刷株式会社 画像提供システム
WO2020255767A1 (ja) 2019-06-20 2020-12-24 ソニー株式会社 情報処理システム、情報処理方法、及び記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047584A1 (ja) * 2015-09-18 2017-03-23 株式会社 東芝 街頭情報処理システム、街頭情報処理システムに適用されるクライアントおよびサーバ、ならびにこれらの方法およびプログラム
US10176846B1 (en) * 2017-07-20 2019-01-08 Rovi Guides, Inc. Systems and methods for determining playback points in media assets
WO2020250080A1 (en) * 2019-06-10 2020-12-17 Senselabs Technology Private Limited System and method for context aware digital media management

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246535A (ja) * 2003-02-13 2004-09-02 Sony Corp 再生方法、再生装置およびコンテンツ配信システム
JP2006059094A (ja) * 2004-08-19 2006-03-02 Ntt Docomo Inc サービス選択支援システム、サービス選択支援方法
JP2006155157A (ja) * 2004-11-29 2006-06-15 Sanyo Electric Co Ltd 自動選曲装置
WO2006075512A1 (ja) * 2005-01-13 2006-07-20 Matsushita Electric Industrial Co., Ltd. 情報通知制御装置、情報通知方式、およびプログラム
JP2006262254A (ja) * 2005-03-18 2006-09-28 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2009067307A (ja) * 2007-09-14 2009-04-02 Denso Corp 自動車用音楽再生システム
JP2009294790A (ja) * 2008-06-03 2009-12-17 Denso Corp 自動車用情報提供システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282847A (ja) * 2000-04-03 2001-10-12 Nec Corp 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体
JP2005032167A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報検索装置、情報検索方法、情報検索システム、クライアント装置およびサーバ装置
JP2006146630A (ja) * 2004-11-22 2006-06-08 Sony Corp コンテンツ選択再生装置、コンテンツ選択再生方法、コンテンツ配信システムおよびコンテンツ検索システム
JP2007058842A (ja) * 2005-07-26 2007-03-08 Sony Corp 情報処理装置、特徴抽出方法、記録媒体、および、プログラム
EP1962241A4 (en) * 2005-12-05 2010-07-07 Pioneer Corp CONTENT SEARCHING DEVICE, SYSTEM AND METHOD, CONTENT SEARCHING SYSTEM SERVER, SOFTWARE, AND RESEARCH FUNCTION CONTENT OUTPUT DEVICE
CN100539503C (zh) * 2005-12-31 2009-09-09 华为技术有限公司 信息发布***、公共媒体信息发布***和发布方法
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US10552384B2 (en) * 2008-05-12 2020-02-04 Blackberry Limited Synchronizing media files available from multiple sources
JP2010152679A (ja) * 2008-12-25 2010-07-08 Toshiba Corp 情報提示装置および情報提示方法
US20100318571A1 (en) * 2009-06-16 2010-12-16 Leah Pearlman Selective Content Accessibility in a Social Network
WO2012072124A1 (en) * 2010-12-01 2012-06-07 Lemoptix Sa A projection system
US20130219417A1 (en) * 2012-02-16 2013-08-22 Comcast Cable Communications, Llc Automated Personalization
US9704361B1 (en) * 2012-08-14 2017-07-11 Amazon Technologies, Inc. Projecting content within an environment
US20140107531A1 (en) * 2012-10-12 2014-04-17 At&T Intellectual Property I, Lp Inference of mental state using sensory data obtained from wearable sensors
KR20140092634A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 전자장치와 그 제어방법
US20140281975A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System for adaptive selection and presentation of context-based media in communications
US9191914B2 (en) * 2013-03-15 2015-11-17 Comcast Cable Communications, Llc Activating devices based on user location
US9225522B2 (en) * 2013-12-27 2015-12-29 Linkedin Corporation Techniques for populating a content stream on a mobile device
US9712587B1 (en) * 2014-12-01 2017-07-18 Google Inc. Identifying and rendering content relevant to a user's current mental state and context

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246535A (ja) * 2003-02-13 2004-09-02 Sony Corp 再生方法、再生装置およびコンテンツ配信システム
JP2006059094A (ja) * 2004-08-19 2006-03-02 Ntt Docomo Inc サービス選択支援システム、サービス選択支援方法
JP2006155157A (ja) * 2004-11-29 2006-06-15 Sanyo Electric Co Ltd 自動選曲装置
WO2006075512A1 (ja) * 2005-01-13 2006-07-20 Matsushita Electric Industrial Co., Ltd. 情報通知制御装置、情報通知方式、およびプログラム
JP2006262254A (ja) * 2005-03-18 2006-09-28 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2009067307A (ja) * 2007-09-14 2009-04-02 Denso Corp 自動車用音楽再生システム
JP2009294790A (ja) * 2008-06-03 2009-12-17 Denso Corp 自動車用情報提供システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087779A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3575978A4 (en) * 2017-10-31 2020-04-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JPWO2019087779A1 (ja) * 2017-10-31 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7327161B2 (ja) 2017-10-31 2023-08-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019148919A (ja) * 2018-02-26 2019-09-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供システム及び情報提供方法
JP7154016B2 (ja) 2018-02-26 2022-10-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供システム及び情報提供方法
JP2020035406A (ja) * 2018-08-31 2020-03-05 大日本印刷株式会社 画像提供システム
JP7148883B2 (ja) 2018-08-31 2022-10-06 大日本印刷株式会社 画像提供システム
WO2020255767A1 (ja) 2019-06-20 2020-12-24 ソニー株式会社 情報処理システム、情報処理方法、及び記録媒体
KR20220019683A (ko) 2019-06-20 2022-02-17 소니그룹주식회사 정보 처리 시스템, 정보 처리 방법 및 기록 매체

Also Published As

Publication number Publication date
US20180027090A1 (en) 2018-01-25
CN107251019A (zh) 2017-10-13
JPWO2016136104A1 (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
WO2016136104A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6369462B2 (ja) クライアント装置、制御方法、システム、およびプログラム
KR102229039B1 (ko) 오디오 활동 추적 및 요약들
JP6729571B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9467673B2 (en) Method, system, and computer-readable memory for rhythm visualization
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2014181380A1 (ja) 情報処理装置およびアプリケーション実行方法
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102071576B1 (ko) 콘텐트 재생 방법 및 이를 위한 단말
US10088901B2 (en) Display device and operating method thereof
CN109729372A (zh) 直播间切换方法、装置、终端、服务器及存储介质
CN109168062A (zh) 视频播放的展示方法、装置、终端设备及存储介质
JPWO2017064891A1 (ja) 情報処理システム、情報処理方法、および記憶媒体
US20200275875A1 (en) Method for deriving and storing emotional conditions of humans
CN108763475B (zh) 一种录制方法、录制装置及终端设备
US20220020053A1 (en) Apparatus, systems and methods for acquiring commentary about a media content event
CN110135349A (zh) 识别方法、装置、设备及存储介质
JPWO2017026154A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20200301398A1 (en) Information processing device, information processing method, and program
US11593426B2 (en) Information processing apparatus and information processing method
CN110291768A (zh) 信息处理装置、信息处理方法和信息处理***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883394

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017501873

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15548331

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883394

Country of ref document: EP

Kind code of ref document: A1