CN111052044B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111052044B
CN111052044B CN201880053147.3A CN201880053147A CN111052044B CN 111052044 B CN111052044 B CN 111052044B CN 201880053147 A CN201880053147 A CN 201880053147A CN 111052044 B CN111052044 B CN 111052044B
Authority
CN
China
Prior art keywords
output
content
space
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880053147.3A
Other languages
English (en)
Other versions
CN111052044A (zh
Inventor
铃木龙一
井田健太郎
池田拓也
饭田文彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111052044A publication Critical patent/CN111052044A/zh
Application granted granted Critical
Publication of CN111052044B publication Critical patent/CN111052044B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)

Abstract

[问题]提供了信息处理装置、信息处理方法和程序，其使得能够根据空间内的环境而优化信息输出。[解决方案]提供了一种信息处理装置，包括：识别单元，其用于识别空间中的状况，其中，内容要基于通过空间的感测而获得的感测数据被输出；和确定单元，其用于基于识别结果和与内容有关的信息的分析的结果来确定内容的输出方法。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
通常，当一个人接收信息呈现时，该人需要自己移动到例如电视装置等的预先固定的显示信息的前面，或者在使用诸如智能电话的移动终端的情况下需要携带移动终端。
近年来，已经提出了具有方向性的扬声器和要被驱动的投影仪，并且已经可以在空间中的任意位置处形成声场并输出图像。
特别地，投影仪随着尺寸减小和亮度增加最近被引入消费者和企业。关于投影仪，例如，在以下专利文献1中公开了一种自动鉴别可投影区域的投影显示装置。这样的投影显示装置可以使用诸如深度传感器的区域传感器来检测障碍物等，并确定可投影区域。
此外，以下的专利文献2公开了一种配备有投影仪的自主机器人，该投影仪可以自行移动到讲话者容易看到的位置并在搜索到的最优投影表面上进行投影。这样的自主机器人获取关于投影区域是否是平面、投影区域的色调和光泽度的信息，以确定最优投影表面。
引文列表
专利文献
专利文献1：JP 2015-145894 A
专利文献2：JP 2005-313291 A
发明内容
技术问题
然而，在上述专利文献1中，尽管测量了投影表面的形状以估计在空间中投影图像的情况下的最优投影尺寸，但是没有考虑除投影表面以外的环境信息，并且观看状况不足。此外，在空间中存在多个装置，诸如电视装置和智能电话，但是没有考虑输出装置的优化。
此外，在上述专利文献2中，假设将投影装置安装在单个自行式机器人(self-propelled robot)上，没有考虑除自行式类型以外的投影装置以及输出装置的优化。
以这种方式，没有实现响应于空间中的环境的输出的优化，并且在现有技术中没有使人摆脱装置限制。
因此，本公开内容提出了一种信息处理装置、信息处理方法和程序，其可以响应于空间中的环境来优化信息输出。
问题解决方案
根据本公开内容，提供了一种信息处理装置，包括：识别单元，其基于通过感测输出内容的空间而获得的传感器数据来识别空间中的状况；以及确定单元，其基于识别的结果和内容的相关信息的分析结果来确定内容的输出方式。
根据本公开内容，提供了一种信息处理方法，该信息处理方法使处理器执行以下操作：基于通过感测输出内容的空间而获得的传感器数据来识别空间中的状况；以及基于识别的结果和内容的相关信息的分析结果来确定内容的输出方式。
根据本公开内容，提供了一种程序，该程序被配置成使计算机用作：识别单元，其基于通过感测输出内容的空间而获得的传感器数据来识别空间中的状况；以及确定单元，其基于识别的结果和内容的相关信息的分析结果来确定内容的输出方式。
发明有益效果
如上所述，根据本公开内容，可以响应于空间中的环境来优化信息输出。
顺便提及，上述效果不一定是限制性的，并且除了上述效果之外或者代替上述效果，还可以展示本说明书中示出的任何效果或可以从本说明书理解的其他效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理***的概述的图。
图2是示出根据本实施方式的信息处理装置的配置的示例的框图。
图3是示出根据本实施方式的输出控制处理的流程图。
图4是示出根据本实施方式的空间中存在的人体识别处理的视图。
图5是示出根据本实施方式的人体识别处理的输出结果示例的表。
图6是示出根据本实施方式的环境识别处理中的平面检测结果和投影不适当区域的示例的视图。
图7是示出根据本实施方式的照度图(illuminance map)和声场识别的示例的视图。
图8是用于描述根据本实施方式的障碍物被放置在平面区域中的情况的视图。
图9是用于描述根据本实施方式的当障碍物被放置在平面区域中时投影表面的检测的视图。
图10是用于描述根据本实施方式的当障碍物被放置在平面区域中时投影表面的检测的视图。
图11是示出根据本实施方式的输出装置的检测结果的示例的表。
图12是示出根据本实施方式的内容分析结果的示例的表。
图13是示出根据本实施方式的与人有关的元素计算的示例的表。
图14是示出根据本实施方式的与输出装置有关的元素计算的示例的表。
图15是示出根据本实施方式的当改变照度评分转换公式中的指数n时的曲线图的图。
图16是示出根据本实施方式的空间中的环境以及人与输出装置之间的位置关系的视图。
图17是示出根据本实施方式的分数矩阵表的图。
图18是示出根据本实施方式的在攀岩比赛中人的布置的视图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。顺便提及，在本说明书和附图中，具有基本相同的功能配置的组件将由相同的附图标记表示，并且将省略其冗余描述。
此外，将按以下顺序给出描述。
1.根据本公开内容的实施方式的信息处理***的概述
2.信息处理装置10的配置
3.操作处理
3-1.整体流程
3-2.识别处理
(3-2-1.人体识别处理)
(3-2-2.环境识别处理)
(3-2-3.装置识别处理)
3-3.内容分析处理
3-4.元素处理
(3-4-1.元素计算)
(3-4-2.元素评分)
(3-4-3.特定元素的加权)
3-5.输出方式确定处理
4.应用示例
5.总结
<<1.根据本公开内容的实施方式的信息处理***的概述>>
图1是示出根据本公开内容的实施方式的信息处理***的概述的图。如图1所示，根据本实施方式的信息处理***1包括信息处理装置10、传感器11和输出装置12。下文中，将描述根据本实施方式的信息处理***1中包括的各个装置。
(传感器11)
传感器11检测周围环境信息，并将检测到的信息输出至信息处理装置10。传感器11主要获取与人体有关的信息和与环境有关的信息。与人体有关的信息的示例包括空间中的一个或更多个用户的位置、姿势、视野区域、视线方向、面部方向等。与环境有关的信息的示例包括投影表面的形状、不均匀、颜色检测、障碍物和遮蔽物、照度信息、音量等。传感器11可以是单个或多个。此外，传感器11可以设置在输出装置12中。
根据本实施方式的传感器11例如由图1所示的摄像机11a、距离传感器11b、照度传感器11c和麦克风11d实现，并且获取空间中与人体有关的信息和与环境有关的信息。
摄像机11a对空间中的一个或更多个用户或投影区域成像，并获取捕获的图像。摄像机11a可以是单个或多个。此外，成像波长不限于可见光区，而是可以包括紫外区和红外区，或者可以限制于特定波长区。此外，摄像机11a可以是仅测量照度的传感器。
距离传感器获取投影仪12a的投影距离(距投影表面的距离)、用户的观看距离(距输出装置12中的每一个的距离)等。此外，距离传感器的示例包括使用红外光作为光源的方式、使用超声波的方式、使用多个摄像机的方式、使用图像处理的方式等。此外，距离传感器可以是单个或多个，并且可以共同获取区域内的距离信息。
照度传感器11c获取空间中每个位置处的照度。照度传感器11c可以是单个或多个。
麦克风11d收集周围声音并获取声音数据。
顺便提及，实现传感器11的摄像机11a、距离传感器11b、照度传感器11c和麦克风11d可以被设置在不同的位置或可以被设置在相同的位置。
(信息处理装置10)
信息处理装置10分析从传感器11获取的信息，并且分析内容属性(与内容有关的一些信息)，并且然后，响应于空间中的环境优化信息输出。在传感器数据的分析中，例如，计算投影显示装置诸如投影仪12a与投影表面之间的三维位置关系，并且分析用户如何识别输出信息，例如，用户如何识别在投影表面等上的图像输出以用于信息输出的优化。
此外，在内容属性的分析中，当触发以任何格式向用户递送内容的触发器时，分析内容的格式(文本、视频、声音等)以及相关信息诸如作为递送目的地的目标人、紧迫性和重要性，并考虑内容属性来执行信息输出的优化。
在信息输出的优化中，选择最优于执行向用户的信息呈现的装置(输出装置12)，确定当利用该装置执行输出时最优的各种参数，并且控制该装置(输出装置12)以执行最优信息输出。
例如，作为参数，在投影机12a的情况下，假设调整要投影的图像的亮度和尺寸的变焦机制、聚焦机制等的调整参数，在扬声器12c的情况下，假设输出的响度(音量参数)，以及在增强现实(AR)眼镜(可穿戴装置12d的示例)的情况下，假设光控制元件的设置参数。
顺便提及，稍后将参照图2描述根据本实施方式的信息处理装置10的具体配置。
(输出装置12)
输出装置12是根据信息处理装置10的控制执行向用户的信息呈现的各种装置。例如，输出装置12由例如如图1中所示的投影仪12a、显示装置12b、扬声器12c或可穿戴装置12d实现。顺便提及，输出装置12的具体示例不限于图1所示的那些，并且可以另外假设所有可以向用户呈现一些信息的装置诸如振动装置、风输出装置、空调、照明装置和各种致动器。此外，假设在空间中存在一种或更多种类型的一个或更多个输出装置。
此外，投影显示装置诸如投影仪12a和声音输出装置诸如扬声器12c可以固定在空间中，或者可以能够使用要被驱动的投影仪在空间中的任何位置进行投影。此外，显示装置12b可以固定在空间诸如电视装置中，或者可以是由用户携带的移动终端，诸如智能电话、移动电话终端和平板终端。此外，可穿戴装置12d由用户穿戴，并且假设是例如头戴式显示器(HMD)、智能眼镜(即AR眼镜)、智能手表、智能带、智能衣领、颈型扬声器、耳环型扬声器、耳套型扬声器等。
上面已经描述了根据本实施方式的信息处理***1的配置。信息处理***1的各个装置可以安装在不同的位置处或相同的位置处。
此外，信息处理***1的各个装置可以被配置为独立的主体，或者装置中的至少一些可以被配置为相同的主体。
<<2.信息处理装置10的配置>>
图2是示出根据本实施方式的信息处理装置10的配置的示例的框图。如图2所示，信息处理装置10包括控制单元100、通信单元110、输入单元120和存储单元130。
控制单元100用作算术处理装置和控制装置，并且根据各种程序来控制信息处理装置10中的整体操作。例如，控制单元100由电子电路诸如中央处理单元(CPU)和微处理器来实现。此外，控制单元100可以包括存储要使用的程序和计算参数的只读存储器(ROM)以及临时存储适当地改变的参数的随机存取存储器(RAM)。
此外，根据本实施方式的控制单元100还用作识别单元101、内容分析单元102、元素处理单元103、输出方式确定单元104和输出控制单元105。
识别单元101基于从传感器11发送的各种类型的传感器数据来执行人体识别处理、环境识别处理和装置识别处理。例如，尽管稍后将描述每个识别处理的细节，在人体识别处理中，执行每个用户的位置和视线、个体识别、姿势识别、行为识别等。此外，在环境识别处理中，识别了用户被放置的环境，并且掌握了最优于信息的递送的环境。此外，在装置识别处理中，掌握了要用于输出的装置(输出装置12)的状态。
如稍后将详细描述的，内容分析单元102分析例如内容的格式(视频、文本、声音、静止图像等)、使用该内容的目标人、用户的工作的存在/缺失(内容是否只需要视觉确认、相对于所显示的内容的预定用户操作等)和重要性(紧急通知、通知、(常规)显示等)作为与内容有关信息(例如，属性)。这些可以在***侧预先确定，或者可以通过识别与内容预先关联的元数据(例如，与内容格式和目标有关的元数据、相对于内容的预定用户操作以及重要性)来进行分析。在视频或静止图像的情况下，可以通过学习图像信息来自动检测重要性。
元素处理单元103执行与用于确定优化的输出方式的元素有关的处理。例如，对以下内容进行评分：人的元素，诸如每个用户的观看距离、投影表面的角度差、视敏度和年龄，以及环境的每个元素，诸如显示器表面形状、显示器表面材料、投影分辨率和扬声器音量。此外，元素处理单元103基于内容分析结果对特定元素的分数加权。
输出方式确定单元104基于由内容分析单元102获得的内容的相关信息的分析结果来确定输出方式，即最优输出位置、输出装置以及各种输出参数。在从投影显示装置(投影仪12a)进行投影输出的情况下，输出位置对应于在空间中的平面区域的位置(例如，图6所示的平面区域P1至P7)，在显示装置12b、扬声器12c等的情况下，输出位置对应于每个装置本身的安装位置。此外，输出位置对应于终端本身的位置，即，在可穿戴装置12d的情况下是穿戴用户的位置。此外，根据本实施方式的输出方式确定单元104可以基于由元素处理单元103计算的内容分析结果考虑各个元素的分数来确定输出方式。具体地，例如，输出方式确定单元104可以确定输出方式，使得当内容是视频时，通过对屏幕尺寸(包括投影表面的尺寸)给予优先来执行在大屏幕上的输出。此外，例如，当内容是触摸用户接口(UI)时，输出方式确定单元104可以考虑由用户执行的触摸操作通过对输出位置(投影位置或显示位置)与用户之间的距离的接近性给予优先来确定在最接近用户的位置处的图像输出。此外，例如，当内容主要是字符(例如，网页内容、电子书等)时，输出方式确定单元104可以通过对输出分辨率(输出设备12的分辨率)给予优先来确定输出方式，使得甚至可以视觉识别精细字符。输出分辨率是用户可以视觉识别的每个预定显示区域的分辨率。此外，例如，当内容是声音时，输出方式确定单元104可以考虑用户的位置通过对输出位置处的声场的状况给予优先来确定输出方式，使得从较安静的位置输出声音，或者使得从用户较易于听到声音的位置输出声音。
输出控制单元105根据由输出方式确定单元104确定的内容，对预定输出装置12执行预定输出控制。具体地，输出控制单元105执行控制，使得将用于控制以执行确定的输出方式中的输出的控制信号和内容数据从通信单元110发送至输出装置12。
(通信单元110)
通信单元110直接地或以有线或无线方式经由网络向外部装置发送数据和从外部装置接收数据。例如，通信单元110连接至传感器11和输出装置12，用于使用有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、近场通信等进行通信。例如，通信单元110根据输出控制单元105的控制，将用于控制预定的输出装置12执行确定的输出方式中的输出的控制信号和内容数据发送至输出装置12。
(输入单元120)
输入单元120接收输入至信息处理装置10的信息。例如，输入单元120可以是从用户接收操作指令的操作输入单元。操作输入单元可以是触摸传感器、压力传感器或接近传感器。可替选地，操作输入单元可以具有物理配置诸如按钮、开关和操纵杆。此外，输入单元120可以是声音输入单元(麦克风)。
(存储单元140)
存储单元140由只读存储器(ROM)和随机存取存储器(RAM)实现，该只读存储器存储用于控制单元100的处理的程序和计算参数，而随机存取存储器(RAM)临时存储适当地改变的参数。
存储单元140存储显示信息(内容)。顺便提及，显示信息可以从外部装置经由通信单元110发送。
上面已经具体描述了根据本实施方式的信息处理装置10的配置。顺便提及，根据本实施方式的信息处理装置10的配置不限于图2所示的示例，并且例如还可以包括输出单元。输出单元可以例如通过显示单元或声音输出单元(麦克风)来实现。显示单元输出操作画面、菜单画面等，并且显示单元可以是显示装置诸如液晶显示器(LCD)和有机电致发光(EL)显示器。
此外，可以使用多个装置来配置信息处理装置10。此外，信息处理装置10可以由客户端装置(智能电话、平板终端、个人计算机(PC)等)来实现，或者可以由网络上的服务器来实现。
<<3.操作处理>>
接下来，将参照附图具体描述根据本实施方式的信息处理***的操作处理。
<3-1.整体流程>
首先，将参照图3描述根据本实施方式的输出控制处理。图3是示出根据本实施方式的输出控制处理的流程图。
如图3所示，信息处理装置10首先从传感器11获取传感器数据(步骤S103)，并且然后，获取内容信息(步骤S106)。传感器数据可以从传感器11连续地获取，或者可以在获取内容信息时获取。关于内容信息的获取，当以某种方式(消息的接收、来电、推送通知、对讲机(访客)、来自用户的输出指令等)触发将内容递送至人的触发器时，从外部装置或存储单元130获取诸如内容的属性的信息。
接下来，信息处理装置10的识别单元101执行与人有关的诸如空间中存在的每个用户的位置和视线方向的识别处理(步骤S109)，与环境有关的诸如空间中的平面检测、照度和声场的识别处理(步骤S112)，以及与装置有关的诸如空间中存在的输出装置12的形式、输出位置和状态的识别处理(步骤S115)。
接下来，内容分析单元102执行内容分析诸如内容的格式和目标人、工作的存在/缺失以及重要性(步骤S118)。
接下来，元素处理单元103执行用于确定输出方式的元素计算(步骤S121)，并且基于计算的元素对元素评分(步骤S124)。
接下来，元素处理单元103基于内容分析结果对每个元素分数执行加权(步骤S127)。
随后，输出方式确定单元104基于元素分数响应于环境来确定优化的输出方式(步骤S130)，并且输出控制单元105根据确定的输出方式执行内容输出控制(步骤S133)。
上面已经参照图3描述了根据本实施方式的信息处理***的整体流程。接下来，将详细描述以上描述的步骤中的每个步骤的处理。
<3-2.识别处理>
(3-2-1.人体识别处理)
在人体识别处理中，基于传感器数据执行空间中存在的一个或更多个用户的位置和视线方向、个体识别、姿势识别、行为识别等。图4是示出根据本实施方式的人体识别处理的图。如图4所示，当在空间S中存在多个用户(用户A和用户B)时，识别单元101可以获取每个用户的位置和视野矢量V(视线方向)作为三维坐标位置(x，y，z)。此外，识别单元101还可以获取每个用户的状态(姿势和行为)。
在此，图5示出了人体识别处理的输出结果的示例。例如，如图5所示，识别单元101可以获取每个用户的位置坐标、视野矢量、姿势、行为等。可以通过例如从每个用户拥有的智能电话、智能手表、AR眼镜等获取位置信息来计算每个用户的位置坐标。顺便提及，识别单元101还可以识别空间S(掌握空间的三维形状)。例如，识别单元101基于传感器数据获取周围空间中的对象信息(对象识别)，识别该空间中的布局，并掌握该布局中的每个用户的位置坐标。顺便提及，位置坐标的获取不限于从用户拥有的通信终端发送的位置信息，并且例如当用户穿戴具有回射功能的材料时，可以通过光的反射来获取位置坐标。此外，还可以基于空间中的捕获的图像来执行用户位置的指定、个体识别(面部识别)以及面部方向的估计。此外，还可以考虑使用热像仪、超声波传感器、激光测量等。
(3-2-2.环境识别处理)
在环境识别处理中，可以通过识别存在用户的环境来掌握最优于发送信息的环境。
在此，将参照图6至图10描述环境识别结果的示例。
图6是示出平面检测结果和投影不适当区域的示例的视图。识别单元101分析各种类型的传感器数据，并检测如图6中左侧所示的空间S中的平面区域P1至P7，并确定如图6中右侧所示的投影不适当区域21至23。为了识别投影表面诸如平面检测结果和投影不适当区域，可以使用人体识别处理中使用的激光测量(例如，光检测和测距(LIDAR))以及超声传感器数据、距离传感器数据、捕获的图像、对象识别结果等。
此外，可以在投影表面的识别时一起识别每个检测平面是否具有适合于图像的投影的材料、颜色和照度。执行平面的这样的颜色、不均匀或亮度的识别以便避免以下情况：当输出是使用投影仪的图像投影时，图像取决于投影仪与平面(投影表面)之间的位置关系变暗而难以观看的情况；当投影表面的颜色接近要投影的颜色时，可见性变低的情况；或者因为投影平面是玻璃等所以一开始图像不可投影的情况。
图7是示出照度图和声场识别的示例的视图。在照度图中，识别空间S中的每个位置处的照度，并且如图7中左侧所示，掌握空间S中的明暗位置。假设将从摄像机传感器、照度传感器等获取的传感器数据用于识别每个位置处的照度。此外，在声场识别时掌握空间S中的安静的地方或嘈杂的地方、难以听到/易于听到声音的地方等。声场识别可以根据安装在空间S中的扬声器的位置估计声场，或者使用从在空间S中设置的麦克风、陀螺仪传感器等或可穿戴装置(诸如AR眼镜或智能电话)获取的传感器数据。
可以与空间识别(掌握空间的三维形状)一起执行如上所描述的投影表面的识别以及声场和照度图的识别，其类似于人体识别处理。顺便提及，当仅存在环境状态几乎不变的公共设施或大型结构时，可以在信息处理装置10中预先登记空间的绘图、关于空间的三维形状的信息等。
此外，存在在检测平面中存在多个障碍物的情况。例如，如图8所示，当将多个障碍物51至53诸如杯子和书本放置在平面区域50中时，识别单元101可以将除了障碍物51至53的区域之外的多个矩形检测为如图9所示的投影表面候选61至66。此外，可以将覆盖障碍物51至53的***的范围检测为如图10所示的投影表面候选66。
(3-2-3.装置识别处理)
在装置识别处理中，掌握存在于空间中的输出装置12的状态。在此，图11示出了输出装置12的检测结果的示例。如图11所示，例如，针对输出装置12的每个名称和ID获取信息，诸如输出装置12的形式(固定的/驱动的/可穿戴的)、可输出位置(可输出位置的数量)、响应度(启动时间或信息呈现所花费的时间)、状态(待机/开始/被使用)和输出类型(显示/声音/振动)。这些条信息可以通过与输出装置12的通信连接来接收或者可以通过分析从空间S中的摄像机传感器、微传感器等获取的传感器数据来获取。
由于还掌握了“状态”和“响应性”，因此可以避免难以在合适的定时使用合适的装置的情况。例如，当输出装置已经被另一用户使用时或在输出设备断电并需要启动时(在驱动型投影仪的情况下，还需要转向投影方向的驱动时间)，难以立即呈现信息。例如，当试图向正在行走的用户的***呈现信息时，用户会经过空间，并且难以在合适的定时利用以上描述的正在被使用的输出装置或需要时间来响应的输出装置来执行信息呈现。
此外，例如，由于还预先掌握了装置的性能，所以当扬声器的最大输出相对于环境的音量不足时，可以避免使用扬声器。
<3-3.内容分析处理>
在内容分析处理中，关于内容的格式(视频、文本、声音、静止图像等)、使用内容的目标人、用户的工作的存在/缺失(内容是否只需要视觉确认)和相对于所显示的内容的预定的用户操作(例如，是否发生了针对图像内容的图像编辑操作，发生了哪种操作诸如对内容的直接触摸操作或通过在远离内容的点处的运动的姿势操作等)和重要性(紧急通知、通知和(普通)显示)进行分析。其属性可以在***侧预先确定，或者可以通过识别预先与内容相关联的元数据(例如，与内容格式和目标有关的元数据、关于该内容的预定用户操作以及重要性)来进行分析。在视频或静止图像的情况下可以通过学习图像信息自动地检测重要性。
在此，图12示出了内容分析结果的示例。如图12所示，针对每个内容分析目标人、请求和格式。图12中示出的“对讲机”听起来像门铃，目标人是房间中的所有用户(用户A和用户B)。此外，因为设置了“通知”，所以没有工作的存在/缺失，并且重要性是“立即通知给用户A和用户B”。格式例如是通过对敲响门铃的人进行成像而获得的捕获的图像(静止图像和全色彩)。
此外，在图12中示出的“消息”是发给个人的信息，诸如社交网络服务(SNS)中的通知、邮件和来自预定应用的推送通知，并且例如，考虑到隐私，目标人仅仅是“用户B”，并且同一空间中的用户A是目标豁免人。由于设置了目标豁免人时，输出装置被确定成使得仅用户B可以看到该通知(例如，用户穿戴的AR眼镜、智能电话等)。
触摸UI输入是通过触摸操作输入画面来输入一些信息，并且例如，当可以由除目标人以外的人观看内容时，如图12所示，没有具体地设置目标豁免人。此外，触摸UI输入需要用户进行主动输入操作。
<3-4.元素处理>
接下来，将描述确定输出方式的元素处理。
(3-4-1.元素计算)
元素处理单元103基于由识别单元101获得的识别结果，针对多个用户和输出装置12中的每一个计算元素。图13和图14是示出元素计算的示例的表。
例如，元素处理单元103基于由人体识别处理检测到的人的位置和视线方向(参见图4)以及由环境识别处理检测到的平面(投影表面)的位置(参见图6)来计算如图13所示的与人相关的元素。此外，元素处理单元103基于由环境识别处理检测到的平面(投影表面)的位置(参见图6)和输出装置12中的每一个的检测结果(参见图11)来计算如图14所示的与输出装置相关的元素。顺便提及，由于如图6所示可以检测到多个投影表面，因此可以针对每个投影表面计算人与投影表面之间的角度差、投影表面的形状和材料、环境照度等。
(3-4-2.元素评分)
接下来，基于如上所计算的元素来确定最优输出位置(输出装置12和投影表面的位置)，但是因为元素的单位不同，因此难以比较这些位置。因此，对每个元素进行评分，并且在本实施方式中针对输出装置12或投影表面中的每一个计算一个分数。可以通过将每个元素分类为四到五个级别或创建具体的转换公式来进行评分。以下，将描述用于评分的转换公式的具体示例。
例如，通过以下公式1获得环境中投影表面的尺寸的分数(投影表面分数S_[surface])。
Figure BDA0002384319320000141
在上面的公式1中，可以将在环境中得到的投影尺寸的最大值和最小值分别预先限定为S_[max]和S_[min]，以便获得投影表面分数S_[surface]。此外，基本上将元素加权系数k_[surface]设置为1，但该系数可以响应于内容而改变。将在后面描述细节。如果此时k＝1，则对于S_[surface]相对于投影尺寸x获得从0到1的数值。当将这样的方法应用于每个元素时，可以计算不包括每个元素的单位的分数。
此外，关于评分的转换公式，存在人的感觉分布与分数分布不成线性比例的情况。将描述照度作为示例。照度[lux]在午夜是几十lux，当打开房间照明时是200lux至300lux，即使在明亮的地方也有几百lux至1000lux，但当直射阳光从外面照射进来时是几十万lux。因此，在上面的公式1中，可以采取的最大照度S_[max]太大，因此，在午夜或当打开房间照明时的变化量变小，从而当计算总分数值时丢失元素的特性。因此，当每个元素的范围具有相对于人体特性偏差的分布诸如指数函数和对数时，可以使用通过向上述公式1添加幂指数n而获得的以下公式2。
Figure BDA0002384319320000142
因此，在照度的情况下，在具有较小值的部分中可以通过将指数n设置成1或更小的值诸如n＝0.25来计算处理微小变化的分数。此外，当在具有较大值的部分中处理微小变化时，可以通过将幂指数n设置为1或更大来处理该变化。在此，图15示出指数n改变时的曲线图。图15示出了当针对输入为0至1的幂指数n分别为0.25、1和4时的趋势。顺便提及，指数针对每个输出位置不变，而是在针对每个环境固定的状态下使用。然而，当存在不同的环境时，可以将指数校正为适合于环境的值。
此外，存在输入值特性在各个元素之间仅具有少量变化级别的元素。可以将这些元素分为几个级别的分数。作为示例，当期望将年龄设置为三个级别的值诸如18岁或更小、18至40岁、以及40岁或更老时，可以使用以下公式3。
Figure BDA0002384319320000151
(3-4-3.特定元素的加权)
如上所述，可以通过针对投影表面和输出装置12(即，输出位置)中的每一个计算一个分数并从计算出的分数中选择最高分数来确定输出位置。当还考虑内容的特性时，可以实现最优评分。
因此，基于如图12所示的内容分析结果对各个元素加权，以使得能够反映用户的意图。
在此，下表1示出了具体内容中的每个元素k的加权系数的示例。
表1
Figure BDA0002384319320000152
关于每个元素，例如，当采用上述公式1时，较大的投影尺寸具有较高的分数，并且如果投影表面与用户之间的距离较长，则分数变得较高。在此，如上表1所示，将k_[投影尺寸]和k_[投影表面与用户之间的距离]的加权系数设置为1或更大，使得即使观看距离例如关于期望在大屏幕上观看的影片内容诸如电影较长，也对屏幕尺寸给予优先权。此外，当显示详细信息诸如允许用户输入的触摸UI和文本时，由于较短的观看距离优先于屏幕尺寸，因此k_[投影表面与用户之间的距离]的加权被设置为-1或更小。因此，距离越短，可以设置越高的分数。此外，可以将k_[投影表面的分辨率]设置为1或更大，使得即使针对精细信息也可以在视觉上识别字符等。
以这种方式，当加权系数为1或更大时，每个元素特性的影响进一步增大，并且当加权系数接近0时，可以忽略元素特性。此外，可以通过改变符号来反转这样的特性。
<3-5.输出方式确定处理>
接下来，将参照图16至图17描述由输出方式确定单元104执行的输出方式确定处理。输出方式确定单元104对各个元素的加权分数进行积分，以针对输出位置中的每一个(例如，空间中的投影表面(平面区域P1至P7)、显示装置12b、扬声器12c和可穿戴装置12d中的每一个的位置)计算一个分数。此外，从多个输出装置12和输出类型(例如，显示、声音、振动等)的组合中选择最优输出方式。
在此，图16示出了空间中的环境以及人与输出装置之间的位置关系。如图16所示，例如，在空间中存在用户A和用户B，存在(用户B拥有的)智能电话5、(用户A拥有的)AR眼镜6、TV装置8以及驱动类型投影仪7作为输出装置12，并且通过平面检测来检测平面区域(投影表面)P1至P7。
这时，图17示出了针对输出装置12、输出类型(显示、声音、振动)和输出位置(投影表面和输出装置12的位置)中的每一个的分数矩阵表。由于可能存在驱动型投影仪7的“显示”和“声音”的六个输出位置，所以针对平面区域P1至P6的六个位置中的每个位置计算分数。
此外，由于AR眼镜6由用户A拥有，所以输出位置是“用户A”。此外，由于智能电话5由用户B拥有，所以输出位置是“用户B”。
通过对如图13和图14所示计算的元素评分并响应于内容对元素的分数加权来获得图17中所示的每个分数。例如，当要输出的内容是图12中所示的“ID3、触摸UI、目标人：用户A”时，执行加权使得当元素存在于用户A附近时分数变得更高，并且例如，作为驱动型投影仪的显示位置，存在于用户A附近的平面区域P3(桌子)的值高。输出方式确定单元104可以选择具有最高分数的输出装置12和输出类型的组合，并且当图像和声音都被使用时，用于图像的输出装置和用于声音输出的输出装置可以不同。
此外，当多个分数在同一列中时，可以优先化在上表1中示出的具有大绝对值的每个加权系数的元素。例如，当要输出的内容是图12中所示的“ID3、触摸UI、目标人：用户A”时，投影表面与用户A之间的距离和分辨率优先于投影尺寸，因此，可以通过从多个投影表面(平面区域P1至P6)中基于距用户的距离的选择来缩小一个候选。
此外，当需要使多个用户转向一个屏幕时诸如向多人呈现大屏幕的图像的情况下，输出方式确定单元104可以响应于每个用户的状态来分别计算移动成本。可以通过不仅考虑人的位置而且还考虑人或与人接触的家具的状态计算转向成本来确定输出位置，例如，特别是当椅子具有不可移动的结构时，通过估计站立的人的低转向成本和坐在椅子上的人的高转向成本来确定输出位置。此外，可以考虑用户属性诸如年龄(儿童或成人)来计算转向成本。
此外，不必在一个屏幕上呈现一个内容，并且可以将多个***投影表面组合以满足该内容所需的尺寸。
此外，有必要在用户移动时呈现图像，以免干扰用户的移动并且不会分散用户的视线。为此，当用户移动时，取决于用户视线的元素被加权为高，或者预测用户的移动路线，从而确认投影表面是否在路线上继续。当沿着预测的移动路线存在难以间歇地呈现图像的区域时，环境不是最优的，因此，可以从开始就使用智能手机或AR眼镜呈现内容，以能够连续地观看。
此外，当将多个类别混合作为内容的特性时，可以对内容进行划分直到该特性在内容中受限，并且可以针对不同的类别在不同的投影表面上进行显示。例如，在互联网视频站点中存在视频内容和该内容的说明文本，因此，可以在较大的表面上显示视频，并且可以在用户附近具有高分辨率的投影的位置处显示说明文本。
<<4.应用示例>>
根据本实施方式的信息处理***不仅可以应用于室内居住环境，而且可以应用于公共设施和体育比赛。例如，将参照图18描述作为大型设施的攀岩比赛的示例。
图18是用于描述攀岩比赛中人的布置的视图。如图18所示，例如，在攀岩比赛设施9中，攀岩壁91被布置在前面，官方座位92被布置在攀岩壁91的前面，并且露天看台93被放置成围绕官方座位92。
此时，假设与针对运动员的讨论相关的显示(例如，失误、犯规等)和针对观众的显示(例如，运动员信息、分数、评论等)为要呈现的内容。在内容分析期间，根据本实施方式的信息处理***1可以设置目标人和目标豁免人，并适当地确定最优输出位置。例如，与针对运动员的讨论相关的内容的显示可以从靠近选择的地方或运动员拥有的可穿戴装置输出，并且针对大量观众的内容可以被投影到较大的投影表面上，使得每个人都可以查看内容。
<<5.总结>>
如上所描述的，在根据本公开内容的实施方式的信息处理***中，可以响应于空间中的环境来优化信息输出。
上面已经参照附图详细描述了本公开内容的优选实施方式，但是本技术不限于这样的示例。明显的是，在本公开内容的技术领域中具有普通知识的技术人员可以在权利要求中描述的技术思想的范围内构思各种改变示例或修改示例。当然，应当理解，这些示例也属于本公开内容的技术范围。
例如，还可以创建计算机程序，计算机程序被配置成使硬件诸如以上描述的信息处理装置10、传感器11或输出装置12中内置的CPU、ROM和RAM展示信息处理装置10、传感器11或输出装置12的功能。此外，还可以提供存储计算机程序的计算机可读存储介质。
此外，本说明书中描述的效果仅是说明性或示例性的，并且不限于此。即，根据本公开内容的技术除了上述效果之外或代替上述效果，还可以展示根据本说明书的描述对于本领域技术人员明显的其他效果。
顺便提及，本技术还可以具有以下配置。
(1)
一种信息处理装置，包括：
识别单元，其基于通过感测输出内容的空间而获得的传感器数据来识别所述空间中的状况；以及
确定单元，其基于识别的结果和所述内容的相关信息的分析结果来确定所述内容的输出方式。
(2)
根据(1)所述的信息处理装置，其中，
所述内容的相关信息的分析结果包括所述内容的格式、使用所述内容的目标人、关于所述内容的工作或所述内容的重要性。
(3)
根据(2)所述的信息处理装置，其中，
所述识别单元执行与作为所述空间中的状况的所述空间中存在的用户有关的识别处理。
(4)
根据(3)所述的信息处理装置，其中，
所述用户的位置坐标、视野方向和状态被识别为与所述用户有关的识别处理。
(5)
根据(2)至(4)中任一项所述的信息处理装置，其中，
所述识别单元执行与作为所述空间中的状况的所述空间中存在的用户周围的环境有关的识别处理。
(6)
根据(5)所述的信息处理装置，其中，
执行所述空间中的平面区域的检测、照度图的生成和声场识别中的至少之一作为与所述环境有关的识别处理。
(7)
根据(2)至(6)中任一项所述的信息处理装置，其中，
所述识别单元执行与作为所述空间中的状况的所述空间中存在的输出装置有关的识别处理。
(8)
根据(2)至(7)中任一项所述的信息处理装置，其中，
所述确定单元确定所述内容的输出位置、输出装置和输出参数作为所述输出方式。
(9)
根据(8)所述的信息处理装置，其中，
在从投影显示装置进行投影输出的情况下，所述输出位置是所述空间中的平面区域的位置。
(10)
根据(8)所述的信息处理装置，其中，
所述输出位置是所述输出装置的安装位置。
(11)
根据(8)所述的信息处理装置，其中，
当所述输出装置是可穿戴装置时，所述输出位置对应于穿戴所述可穿戴装置的用户的位置。
(12)
根据(8)至(11)中任一项所述的信息处理装置，其中，
所述确定单元基于针对每个输出位置的分数来确定所述输出位置，所述针对每个输出位置的分数是基于每个元素的分数计算的，所述每个元素的分数是基于由所述识别单元获得的与环境和用户有关的识别结果计算并取决于所述内容的相关信息的分析结果加权的。
(13)
根据(8)至(12)中任一项所述的信息处理装置，其中，
当所述内容是视频时，所述确定单元基于所述内容的分析结果通过对屏幕尺寸给予优先来确定所述输出方式。
(14)
根据(8)至(13)中任一项所述的信息处理装置，其中，
当所述内容是触摸UI时，所述确定单元通过对输出位置与用户之间的距离的接近性给予优先来确定所述输出方式。
(15)
根据(8)至(14)中任一项所述的信息处理装置，其中，
当所述内容主要是字符时，所述确定单元通过对输出分辨率给予优先来确定所述输出方式。
(16)
根据(8)至(15)中任一项所述的信息处理装置，其中，
当所述内容是声音时，所述确定单元通过对输出位置处的声场的状况给予优先来确定所述输出方式。
(17)
根据(8)至(16)中任一项所述的信息处理装置，其中，
当所述内容是图像并且用户正在移动时，所述确定单元通过对所述用户的视线方向给予优先来确定所述输出方式。
(18)
根据(1)至(17)中的任一项所述的信息处理装置，还包括发送单元，所述发送单元通过所确定的输出方式将要输出的信息发送至输出装置。
(19)
一种信息处理方法，包括：
处理器基于通过感测输出内容的空间而获得的传感器数据来识别所述空间中的状况；以及
处理器基于识别的结果和所述内容的相关信息的分析结果来确定所述内容的输出方式。
(20)
一种程序，使计算机用作：
识别单元，其基于通过感测输出内容的空间而获得的传感器数据来识别所述空间中的状况；以及
确定单元，其基于识别的结果和所述内容的相关信息的分析结果来确定所述内容的输出方式。
附图标记列表
1 信息处理***
10 信息处理装置
11 传感器
11a 摄像机
11b 距离传感器
11c 照度传感器
11d 麦克风
12 输出装置
12a 投影仪
12b 显示装置
12c 扬声器
12d 可穿戴装置
100 控制单元100
101 识别单元
102 内容分析单元
103 元素处理单元
104 输出方式确定单元
105 输出控制单元
110 通信单元
120 输入单元
130 存储单元

Claims (17)

1.一种信息处理装置，包括：
识别单元，其基于通过感测输出内容的空间而获得的传感器数据来识别所述空间中的状况；以及
确定单元，其基于识别的结果和所述内容的相关信息的分析结果来确定所述内容的输出方式，
其中，所述内容的相关信息的分析结果包括所述内容的格式、使用所述内容的目标人、关于所述内容的工作或所述内容的重要性，
其中，所述确定单元确定所述内容的输出位置、输出装置和输出参数作为所述输出方式，并且
其中，所述识别单元执行与作为所述空间中的状况的所述空间中存在的用户周围的环境有关的识别处理。
2.根据权利要求1所述的信息处理装置，其中，
所述识别单元执行与作为所述空间中的状况的所述空间中存在的用户有关的识别处理。
3.根据权利要求2所述的信息处理装置，其中，
所述用户的位置坐标、视野方向和状态被识别为与所述用户有关的识别处理。
4.根据权利要求1所述的信息处理装置，其中，
执行所述空间中的平面区域的检测、照度图的生成和声场识别中的至少之一作为与所述环境有关的识别处理。
5.根据权利要求1所述的信息处理装置，其中，
所述识别单元执行与作为所述空间中的状况的所述空间中存在的输出装置有关的识别处理。
6.根据权利要求1所述的信息处理装置，其中，
在从投影显示装置进行投影输出的情况下，所述输出位置是所述空间中的平面区域的位置。
7.根据权利要求1所述的信息处理装置，其中，
所述输出位置是所述输出装置的安装位置。
8.根据权利要求1所述的信息处理装置，其中，
当所述输出装置是可穿戴装置时，所述输出位置对应于穿戴所述可穿戴装置的用户的位置。
9.根据权利要求1所述的信息处理装置，其中，
所述确定单元基于针对每个输出位置的分数确定所述输出位置，所述针对每个输出位置的分数是基于每个元素的分数计算的，所述每个元素的分数是基于由所述识别单元获得的与环境和用户有关的识别结果计算并取决于所述内容的相关信息的分析结果加权的。
10.根据权利要求1所述的信息处理装置，其中，
当所述内容是视频时，所述确定单元基于所述内容的分析结果通过对屏幕尺寸给予优先来确定所述输出方式。
11.根据权利要求1所述的信息处理装置，其中，
当所述内容是触摸UI时，所述确定单元通过对输出位置与用户之间的距离的接近性给予优先来确定所述输出方式。
12.根据权利要求1所述的信息处理装置，其中，
当所述内容主要是字符时，所述确定单元通过对输出分辨率给予优先来确定所述输出方式。
13.根据权利要求1所述的信息处理装置，其中，
当所述内容是声音时，所述确定单元通过对输出位置处的声场的状况给予优先来确定所述输出方式。
14.根据权利要求1所述的信息处理装置，其中，
当所述内容是图像并且用户正在移动时，所述确定单元通过对所述用户的视线方向给予优先来确定所述输出方式。
15.根据权利要求1所述的信息处理装置，还包括发送单元，所述发送单元通过所确定的输出方式将要输出的信息发送至输出装置。
16.一种信息处理方法，包括：
处理器基于通过感测输出内容的空间而获得的传感器数据来识别所述空间中的状况；以及
处理器基于识别的结果和所述内容的相关信息的分析结果来确定所述内容的输出方式，
其中，所述内容的相关信息的分析结果包括所述内容的格式、使用所述内容的目标人、关于所述内容的工作或所述内容的重要性，
其中，所述处理器确定所述内容的输出位置、输出装置和输出参数作为所述输出方式，并且
其中，所述处理器执行与作为所述空间中的状况的所述空间中存在的用户周围的环境有关的识别处理。
17.一种存储程序的计算机可读存储介质，所述程序使计算机用作：
识别单元，其基于通过感测输出内容的空间而获得的传感器数据来识别所述空间中的状况；以及
确定单元，其基于识别的结果和所述内容的相关信息的分析结果来确定所述内容的输出方式，
其中，所述内容的相关信息的分析结果包括所述内容的格式、使用所述内容的目标人、关于所述内容的工作或所述内容的重要性，
其中，所述确定单元确定所述内容的输出位置、输出装置和输出参数作为所述输出方式，并且
其中，所述识别单元执行与作为所述空间中的状况的所述空间中存在的用户周围的环境有关的识别处理。
CN201880053147.3A 2017-08-23 2018-07-11 信息处理装置、信息处理方法和程序 Expired - Fee Related CN111052044B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-160080 2017-08-23
JP2017160080 2017-08-23
PCT/JP2018/026110 WO2019039119A1 (ja) 2017-08-23 2018-07-11 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111052044A CN111052044A (zh) 2020-04-21
CN111052044B true CN111052044B (zh) 2022-08-02

Family

ID=65438803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880053147.3A Expired - Fee Related CN111052044B (zh) 2017-08-23 2018-07-11 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11417135B2 (zh)
EP (1) EP3674854A4 (zh)
JP (1) JP7211367B2 (zh)
CN (1) CN111052044B (zh)
WO (1) WO2019039119A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11417135B2 (en) * 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
US11234051B2 (en) * 2019-01-04 2022-01-25 Apple Inc. Predictive media routing
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
JP2020140598A (ja) * 2019-03-01 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN110568931A (zh) * 2019-09-11 2019-12-13 百度在线网络技术（北京）有限公司 交互方法、设备、***、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1985497A (zh) * 2004-10-26 2007-06-20 松下电器产业株式会社 信息输出装置、信息输出控制方法及信息输出控制程序
US8089423B1 (en) * 2000-05-12 2012-01-03 Harris Scott C Automatic configuration of multiple monitor systems
CN103312555A (zh) * 2012-03-16 2013-09-18 株式会社理光 信息处理装置、信息处理***和信息处理方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5597223A (en) * 1993-12-27 1997-01-28 Kabushiki Kaisha Toshiba Display apparatus
TW557069U (en) * 2001-07-13 2003-10-01 Winbond Electronics Corp Multi-media display device suitable for digital TV and capable of showing many kinds of program
JP4323742B2 (ja) * 2001-12-28 2009-09-02 キヤノン株式会社 画像処理装置および画像処理装置の制御方法およびプログラム
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
US20040004599A1 (en) * 2002-07-03 2004-01-08 Scott Shepard Systems and methods for facilitating playback of media
CN1268122C (zh) * 2002-07-23 2006-08-02 精工爱普生株式会社 显示方法及投影机
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
JP2005313291A (ja) 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
JP4111190B2 (ja) * 2004-12-24 2008-07-02 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
US20070100653A1 (en) * 2005-11-01 2007-05-03 Jorey Ramer Mobile website analyzer
JP2007114594A (ja) * 2005-10-21 2007-05-10 Seiko Epson Corp 画像形成装置およびトナー消費量算出方法
JP4747867B2 (ja) 2006-02-09 2011-08-17 日産自動車株式会社 車両用表示装置および車両用映像表示制御方法
US7835079B2 (en) * 2007-03-06 2010-11-16 Ostendo Technologies, Inc. Micro-structure based screen system for use in rear projection array display systems
JP2009223061A (ja) 2008-03-17 2009-10-01 Ricoh Co Ltd 表示制御システム、表示制御方法及び表示制御プログラム
AU2014200913A1 (en) * 2008-06-09 2014-03-13 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
US8955984B2 (en) * 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
KR20130009754A (ko) * 2010-02-01 2013-01-23 점프탭, 인크. 통합형 광고 시스템
IT1399695B1 (it) * 2010-04-14 2013-04-26 Sisvel Technology Srl Metodo per visualizzare un flusso video secondo un formato personalizzato.
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
WO2013136637A1 (ja) * 2012-03-14 2013-09-19 パナソニック株式会社 コンテンツ表示処理装置、コンテンツ表示処理方法、プログラム、及び集積回路
US20130304587A1 (en) * 2012-05-01 2013-11-14 Yosot, Inc. System and method for interactive communications with animation, game dynamics, and integrated brand advertising
US10649613B2 (en) * 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
KR101777493B1 (ko) * 2013-05-31 2017-09-11 소니 주식회사 정보 처리 장치 및 정보 처리 방법
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
JP6224387B2 (ja) * 2013-09-09 2017-11-01 株式会社デンソー コンテンツ提供システム
US9535578B2 (en) * 2013-10-18 2017-01-03 Apple Inc. Automatic configuration of displays for slide presentation
US9727134B2 (en) * 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device
US9524139B2 (en) 2013-10-29 2016-12-20 Dell Products, Lp System and method for positioning an application window based on usage context for dual screen display device
US20150149585A1 (en) * 2013-11-26 2015-05-28 Jack Ke Zhang Channel-content management system for controlling dynamic-content transmissions for passive display on computing devices
KR20160102412A (ko) * 2013-12-27 2016-08-30 소니 주식회사 제어 장치, 제어 방법 및 컴퓨터 프로그램
KR102135367B1 (ko) * 2014-01-23 2020-07-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP2015145894A (ja) 2014-01-31 2015-08-13 キヤノン株式会社 投射型表示装置
US10469428B2 (en) * 2014-02-21 2019-11-05 Samsung Electronics Co., Ltd. Apparatus and method for transmitting message
US10264211B2 (en) * 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9710772B1 (en) * 2014-06-06 2017-07-18 Amazon Technologies, Inc. Using sensor data to modify attributes of information presented to a user
JP2016092749A (ja) 2014-11-11 2016-05-23 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9967320B2 (en) 2014-12-18 2018-05-08 Google Llc Methods, systems, and media for controlling information used to present content on a public display device
JP6711284B2 (ja) * 2015-02-03 2020-06-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10575008B2 (en) * 2015-06-01 2020-02-25 Apple Inc. Bandwidth management in devices with simultaneous download of multiple data streams
JP2017049474A (ja) * 2015-09-03 2017-03-09 シャープ株式会社 制御装置、出力装置、および出力方法
JP2017055178A (ja) 2015-09-07 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017122363A1 (ja) * 2016-01-15 2017-07-20 楽天株式会社 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
US9953443B2 (en) * 2016-02-03 2018-04-24 Daniel Limberger Interactive, adaptive level-of-detail in 2.5D treemaps
US20170289596A1 (en) * 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Networked public multi-screen content delivery
JP6788996B2 (ja) * 2016-04-27 2020-11-25 ラピスセミコンダクタ株式会社 半導体装置、映像表示システムおよび映像信号出力方法
US10496888B2 (en) * 2016-05-24 2019-12-03 Motorola Solutions, Inc. Guardian camera in a network to improve a user's situational awareness
US10963044B2 (en) * 2016-09-30 2021-03-30 Intel Corporation Apparatus, system and method for dynamic modification of a graphical user interface
US11385930B2 (en) * 2017-06-21 2022-07-12 Citrix Systems, Inc. Automatic workflow-based device switching
US11417135B2 (en) * 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8089423B1 (en) * 2000-05-12 2012-01-03 Harris Scott C Automatic configuration of multiple monitor systems
CN1985497A (zh) * 2004-10-26 2007-06-20 松下电器产业株式会社 信息输出装置、信息输出控制方法及信息输出控制程序
CN103312555A (zh) * 2012-03-16 2013-09-18 株式会社理光 信息处理装置、信息处理***和信息处理方法

Also Published As

Publication number Publication date
WO2019039119A1 (ja) 2019-02-28
EP3674854A1 (en) 2020-07-01
US11417135B2 (en) 2022-08-16
US20200250412A1 (en) 2020-08-06
CN111052044A (zh) 2020-04-21
JPWO2019039119A1 (ja) 2020-07-30
JP7211367B2 (ja) 2023-01-24
EP3674854A4 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
CN111052044B (zh) 信息处理装置、信息处理方法和程序
US9798143B2 (en) Head mounted display, information system, control method for head mounted display, and computer program
US10016334B2 (en) System and method to assist users having reduced visual capability utilizing lighting device provided information
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
US10248856B2 (en) Smart necklace with stereo vision and onboard processing
KR102212030B1 (ko) 글래스 타입 단말기 및 이의 제어방법
JP6705124B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10930249B2 (en) Information processor, information processing method, and recording medium
US11284047B2 (en) Information processing device and information processing method
EP3163407A1 (en) Method and apparatus for alerting to head mounted display user
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11173375B2 (en) Information processing apparatus and information processing method
US20200125398A1 (en) Information processing apparatus, method for processing information, and program
CN112106016A (zh) 信息处理装置、信息处理方法和记录介质
JPWO2017064926A1 (ja) 情報処理装置及び情報処理方法
WO2023064719A1 (en) User interactions with remote devices
JP2022012070A (ja) 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
JP2022108194A (ja) 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。
US20210256263A1 (en) Information processing apparatus, information processing method, and program
US20240087221A1 (en) Method and apparatus for determining persona of avatar object in virtual space
US20210211621A1 (en) Information processing apparatus, information processing method, and program
JP2022101330A (ja) 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。
JP2022101328A (ja) 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。
JP2022101331A (ja) 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220802