WO2016121412A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2016121412A1
WO2016121412A1 PCT/JP2016/050079 JP2016050079W WO2016121412A1 WO 2016121412 A1 WO2016121412 A1 WO 2016121412A1 JP 2016050079 W JP2016050079 W JP 2016050079W WO 2016121412 A1 WO2016121412 A1 WO 2016121412A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
information processing
sink device
accessibility
source device
Prior art date
Application number
PCT/JP2016/050079
Other languages
English (en)
French (fr)
Inventor
英輝 石見
山浦 智也
鈴木 英之
武敏 山根
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015016735A external-priority patent/JP2016143954A/ja
Priority claimed from JP2015022674A external-priority patent/JP2016146560A/ja
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/543,395 priority Critical patent/US11068148B2/en
Priority to EP16743016.4A priority patent/EP3253066B1/en
Publication of WO2016121412A1 publication Critical patent/WO2016121412A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted

Definitions

  • the technology disclosed in this specification is an information processing apparatus operable in an accessibility mode that guarantees browsing in response to the operator's physical disability or deterioration of functions, and a partner terminal and data in the accessibility mode.
  • the present invention relates to an information processing apparatus that transmits and receives.
  • An information processing apparatus has been studied in which the vision, hearing ability, etc. are restricted, such as persons with disabilities or elderly people, or the coordination between eyes and hands, and operability by operators who do not use dexterous hands.
  • the vision, hearing ability, etc. are restricted, such as persons with disabilities or elderly people, or the coordination between eyes and hands, and operability by operators who do not use dexterous hands.
  • the received data from each source device have the same format, since the sink device is one platform, but the setting value is confirmed before transmission There is a need to. It is necessary to provide an effective management method for the sink device.
  • the terminal connected with P2P (Peer to Peer) is for normal users (hereinafter referred to as "normal mode") and for disabled users.
  • normal mode normal users
  • the accessibility mode When the mode (hereinafter referred to as “the accessibility mode”) is connected, sufficient consideration has not been made at the time of the present application.
  • the control method becomes unique, and between terminals Not compatible
  • the control method becomes unique, and between terminals Not compatible
  • the content media is video
  • the transmitting device or the receiving device needs to be converted into, for example, an audio or tactile information provision method.
  • audio data may be required.
  • the response method for supporting the disability differs depending on the degree of disability that the operator has. For example, there are various methods for dealing with visual support, such as “operable without sight”, “operable with color blindness and color blind”, and “operable with low vision and deafness”, for example.
  • An object of the technology disclosed in the present specification is to provide an excellent information processing apparatus capable of suitably operating in the accessibility mode in a topology environment in which terminals in the normal mode and the accessibility mode are mixed. is there.
  • a further object of the technology disclosed herein is to provide an excellent information processing apparatus capable of preferably transmitting and receiving data with a partner terminal in the accessibility mode.
  • a wireless communication unit that performs wireless communication as a source device with a plurality of sink devices;
  • a control unit that controls connection with the sink device and transmission of content data to the sink device; Equipped with Each of the plurality of sink devices is operable in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit manages types of accessibility modes of the plurality of sink devices. It is an information processing apparatus.
  • control unit of the information processing device performs arbitration of accessibility modes of the plurality of sink devices, and then the content It is configured to initiate the transmission of data.
  • control unit of the information processing device has no problem in changing the sink device for changing to the accessibility mode to the operator It is configured to display a pop-up to confirm.
  • the control unit of the information processing apparatus grasps connection to a sink device in the accessibility mode, and accesses from this point onward. It is configured to transmit necessary accessibility mode metadata based on the result of ORing the tee mode types.
  • control unit of the information processing apparatus is configured to set the accessibility mode metadata to either multicast packet or unicast packet. It is configured to be sent by email.
  • control unit of the information processing device groups the plurality of sink devices into the same accessibility mode type and groups the same. It is configured to send accessibility mode metadata corresponding to each.
  • control unit of the information processing apparatus transmits the metadata for accessibility mode to either the multicast packet or the unicast packet. It is configured to be sent by email.
  • an eighth aspect of the technology disclosed in the present specification is A wireless communication unit that performs wireless communication as a sink device with the source device; A control unit that controls connection with the source device and transmission of content data from the source device; Equipped with The control unit extracts and reproduces only reproducible metadata from the plurality of accessibility mode metadata received from the source device. It is an information processing apparatus.
  • a ninth aspect of the technology disclosed in the present specification is A wireless communication unit configured to wirelessly communicate with the same sink device as the source device together with other source devices;
  • a control unit that controls connection with the sink device and transmission of content data to the sink device; Equipped with The sink device can operate in either the normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit causes the sink device to be notified of connection in the accessibility mode. It is an information processing apparatus.
  • a wireless communication unit that performs wireless communication as a sink device with a plurality of source devices;
  • a control unit that controls connection with the source device and transmission of content data from the source device;
  • a user interface unit that selects between accessibility and normal operations;
  • An information processing apparatus comprising the
  • an eleventh aspect of the technology disclosed in the present specification is A wireless communication unit that performs wireless communication as a sink device with a plurality of source devices; A control unit that controls connection with the source device and transmission of content data from the source device; Equipped with Each of the plurality of source devices can operate in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit causes UIBC data to be transmitted to the plurality of source devices. It is an information processing apparatus.
  • control unit of the information processing device transmits UIBC data after conversion so as to match the mode of each source device. It is configured.
  • control unit of the information processing device is configured to transmit UIBC data regardless of the mode of the source device.
  • control unit of the information processing device causes the UIBC data to be transmitted after switching to a common mode in which all the devices can switch. Is configured as.
  • a wireless communication unit configured to wirelessly communicate with the same sink device as the source device together with other source devices;
  • a control unit that controls connection with the sink device and transmission of content data to the sink device; Equipped with The sink device can operate in either the normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit transmits a mode exchange message signal for changing the normal mode and the accessibility mode in the middle of transmission. It is an information processing apparatus.
  • a sixteenth aspect of the technology disclosed in the present specification is A wireless communication unit that performs wireless communication as a sink device with a plurality of source devices; A control unit that controls connection with the source device and transmission of content data from the source device; Equipped with Each of the plurality of source devices can operate in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit requests each source device to match the accessibility mode of the plurality of source devices. It is an information processing apparatus.
  • a sink device operable in any of one or more types of accessibility modes that guarantees browsing corresponding to the normal mode and the operator's physical disability or deterioration of functions, and a wireless communication unit wirelessly communicating as a source device , A content transmission unit that transmits content data to the sink device via the wireless communication unit; A metadata transmitting unit that transmits metadata operable by an operator of the sink device to the sink device operating in an accessibility mode via the wireless communication unit;
  • An information processing apparatus comprising the
  • the metadata transmission unit of the information processing apparatus transmits metadata using a channel for metadata transmission. It is configured.
  • a sink device operable in any of one or more types of accessibility modes that guarantees browsing corresponding to the normal mode and the operator's physical disability or deterioration of functions, and a wireless communication unit wirelessly communicating as a source device ,
  • a content transmission unit that transmits content data to the sink device via the wireless communication unit;
  • a mode confirmation unit that confirms the operation mode of the sink device via the wireless communication unit;
  • a metadata transmitting unit that transmits metadata operable by an operator of the sink device to the sink device operating in an accessibility mode via the wireless communication unit;
  • An information processing apparatus comprising the
  • the mode confirmation unit of the information processing device is any one of Capability Negotiation, Device Discovery, or Service Discovery in the Miracast protocol.
  • the apparatus is configured to confirm the accessibility mode type supported by the sink device using one or more processes.
  • the information processing apparatus is configured to convert metadata according to an accessibility mode type supported by the sink device. It further comprises a metadata conversion unit to convert.
  • the information processing apparatus According to a twenty-second aspect of the technology disclosed in the present specification, the information processing apparatus according to any one of the nineteenth to twenty-first aspects generates metadata when the sink device is in the accessibility mode.
  • the information processing apparatus further comprises a notification unit that notifies an operator of the information processing apparatus that the information processing apparatus needs the information.
  • the notification unit of the information processing apparatus displays the media type of metadata to be transmitted to the sink device and converts the metadata. It is configured to prompt the operator to confirm whether or not to do so.
  • the information processing apparatus according to any one of the nineteenth to twenty-third aspects is characterized in that the sink device is different in type of accessibility mode from the sink device. And a mode control unit that makes the mode match.
  • the information processing apparatus is normally selected when the operator changes the mode while connected to the sink device.
  • the content transmission unit further includes a message transmission unit for transmitting a mode exchange signal for changing the mode and the accessibility mode in the middle of transmission of the content by the content transmission unit.
  • an excellent information processing apparatus capable of suitably operating in the accessibility mode in a topology environment where terminals in the normal mode and the accessibility mode are mixed. it can.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a communication system 100 according to a first embodiment of the technology disclosed in the present specification.
  • FIG. 2 is a diagram schematically showing a functional configuration example of the information processing apparatus 200 operating as a source device.
  • FIG. 3 is a diagram schematically showing a functional configuration example of the information processing apparatus 300 operating as a sink device.
  • FIG. 4 is a diagram showing an example of a connection sequence between the source device 410 and the sink device 420 in the first embodiment.
  • FIG. 5A is a diagram illustrating a connection form in which the source device and the sink device exchange in the accessibility mode.
  • FIG. 5B is a diagram illustrating a connection form in which the source device in the normal mode and the sink device in the accessibility mode exchange.
  • FIG. 5A is a diagram illustrating a connection form in which the source device in the normal mode and the sink device in the accessibility mode exchange.
  • FIG. 6 is a diagram showing an example of a connection sequence between the source device and each sink device in the topology environment shown in FIG. 5A.
  • FIG. 7 is a diagram showing an example of a connection sequence (example using processing in Miracast) between the source device 410 and the sink device 420 in the first embodiment.
  • FIG. 8 is a diagram showing the types of obstacles, the correspondence request, and the corresponding examples of each.
  • FIG. 9 is a diagram showing bit assignments of accessibility support requirements.
  • FIG. 10A is a diagram illustrating a sequence example (a communication example in which an accessibility function is requested from the source device) in which the Capability Negotiation communication process is performed between the source device and the sink device.
  • FIG. 10A is a diagram illustrating a sequence example (a communication example in which an accessibility function is requested from the source device) in which the Capability Negotiation communication process is performed between the source device and the sink device.
  • FIG. 10B is a diagram showing a sequence example (a communication example in which a connection enable request is issued from the source device) in which the Capability Negotiation communication process is performed between the source device and the sink device.
  • FIG. 11A is a diagram showing a sequence example (a communication example in which an accessibility function is requested from the sink device) in which the Capability Negotiation communication process is performed between the source device and the sink device.
  • FIG. 11B is a diagram showing a sequence example (a communication example in which a connection enable request is issued from the sink device) in which the Capability Negotiation communication process is performed between the source device and the sink device.
  • FIG. 12 is a diagram showing an operation example of the sink device in each accessibility mode type.
  • FIG. 13A is a flowchart showing a processing procedure for the source device to select a common accessibility mode from among a plurality of sink device accessibility mode types.
  • FIG. 13B is a flowchart showing a processing procedure for the source device to select a common accessibility mode from among a plurality of sink device accessibility mode types.
  • FIG. 14A is a diagram illustrating a connection form in which the source device in both the accessibility mode and the normal mode interacts with the sink device in one accessibility mode.
  • FIG. 14B is a diagram illustrating a connection mode in which the source devices in the normal mode and the accessibility mode both exchange with one sink device in the normal mode.
  • FIG. 15A is a diagram showing an example of communication processing of image data and audio data using a WebSocket between the source device 410 and the sink device 420.
  • FIG. 15B is a diagram showing an example of a frame format of WebSocket exchanged between the source device 410 and the sink device 420.
  • FIG. 15C is a diagram showing a frame format example of WebSocket exchanged between the source device 410 and the sink device 420.
  • FIG. 16 is a diagram schematically illustrating a configuration example of a communication system 1100 according to a second embodiment of the technology disclosed in the present specification.
  • FIG. 17 is a view exemplifying a large screen display including buttons for specifying an accessibility operation and a default operation.
  • FIG. 18 is a diagram showing an example of a basic sequence from P2P direct connection to construction of a multi-sink topology environment.
  • FIG. 19 is a diagram schematically illustrating a configuration example of a communication system according to an embodiment of the technology disclosed in the present specification.
  • FIG. 20 is a diagram showing the connection between the source device in the accessibility mode and the sink device in the accessibility mode.
  • FIG. 21 is a diagram showing the connection between the source device in the normal mode and the sink device in the accessibility mode.
  • FIG. 22 is a diagram showing the connection between the source device in the accessibility mode and the sink device in the normal mode.
  • FIG. 23 is a flowchart showing an operation procedure from when the source device starts Capability Negotiation of the metadata line for accessibility mode and the source device starts image transmission with the sink device.
  • FIG. 20 is a diagram showing the connection between the source device in the accessibility mode and the sink device in the accessibility mode.
  • FIG. 21 is a diagram showing the connection between the source device in the normal mode and the sink device in
  • FIG. 24 is a flowchart showing an operation procedure from when the source device starts Capability Negotiation of the accessibility mode metadata line and the source device starts image transmission with the sink device.
  • FIG. 25 is a diagram illustrating an example of a control method of Device Discovery or Service Discovery.
  • FIG. 26 is a diagram showing an example of the format of WFD IE.
  • FIG. 27 is a diagram showing an example of the general format of the WFD Subelement.
  • FIG. 28 is a diagram showing an example of WFD Subelement ID Definition.
  • FIG. 29 is a diagram showing an example of New Device Subelement.
  • FIG. 30 is a diagram showing an example of the New Device Information Field.
  • FIG. 31 shows an example of the payload of the ASP message.
  • FIG. 1 schematically shows a configuration example of a communication system 100 according to a first embodiment of the technology disclosed in the present specification.
  • the illustrated communication system 100 assumes wireless connection in a multi-sync topology environment using P2P direct communication.
  • the communication system 100 includes three information processing apparatuses 200, 300, and 400, and transmits data (for example, image data and audio data) transmitted from one information processing apparatus 200 as a source device.
  • the other two information processing devices 300 and 400 are to receive as sink devices. Since multiple sink devices exist for one source device, the communication system 100 shown in FIG. 1 can be called a multi-sync topology environment.
  • the information processing apparatuses 200, 300, and 400 that constitute the communication system 100 are communication devices provided with a wireless communication function.
  • the information processing apparatuses 200, 300, and 400 are a display apparatus (for example, a personal computer) or a portable information processing apparatus (such as a smartphone or a tablet terminal) having a wireless communication function.
  • the information processing apparatuses 200, 300, and 400 are IEEE (Institute of Electrical and Electronics Engineers) 802.11, IEEE 802.15, IEEE 802.16, 3GPP (3rd Generation Partnership Project) specifications (for example, W-CDMA (Wideband Code) Division Multiple Access (GSM), Global System for Mobile Communications (GSM), Worldwide Interoperability for Microwave Access (WiMAX), WiMAX 2, Long Term Evolut (LTE) and wireless communication devices compliant with LTE-A (Advanced), and the information processing devices 200, 300, and 400 use the wireless communication function of any of them to exchange various information. It can be done.
  • IEEE Institute of Electrical and Electronics Engineers
  • W-CDMA Wideband Code) Division Multiple Access
  • GSM Global System for Mobile Communications
  • WiMAX Worldwide Interoperability for Microwave Access
  • WiMAX 2 Long Term Evolut
  • LTE-A Advanced Evolut
  • the information processing apparatus 300 or 400 which is a sink device, is an apparatus having the same functional configuration in that it receives data transmitted from the information processing apparatus 200, which is a source device.
  • the exchange between the information processing apparatus 200 and the information processing apparatus 400 is basically equivalent to the exchange between the information processing apparatus 200 and the information processing apparatus 300. Therefore, in the following, only the method of connecting the information processing device 200 and the information processing device 300 will be described as the first embodiment, and the description of the method of connecting the information processing device 200 and the information processing device 400 will be omitted.
  • the case where wireless communication using a wireless LAN (Local Area Network) is performed between the information processing apparatus 200 and the information processing apparatus 300 will be described as an example.
  • Wi-Fi Wireless Fidelity
  • TDLS Transmission Link Setup
  • an ad hoc network or a mesh network
  • Wi-Fi CERTIFIED Miracast technical specification name: Wi-Fi Display
  • Wi-Fi CERTIFIED Miracast uses Wi-Fi Direct and TDLS technology to transmit audio and display images to be played on one terminal to another terminal, and the other terminals also use that audio, It is a mirroring technology that causes image data to be output.
  • UIBC User Input Back Channel
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • UIBC is a technology for transmitting operation information of an input device such as a mouse or a keyboard from one terminal to the other.
  • remote desktop software for example, VNC (Virtual Network Computing) may be applied instead of Wi-Fi CERTIFIED Miracast.
  • H.264 is used for compression and expansion.
  • H. H.264 can be adjusted on the sending side.
  • It can also support 265 (for example, high efficiency video coding (HEVC), scalable video coding extensions of high efficiency video coding (SHVC), moving picture experts group (MPEG) 4 and joint 1 photographic experts group (JPEG) 2000. .
  • HEVC high efficiency video coding
  • SHVC scalable video coding extensions of high efficiency video coding
  • MPEG moving picture experts group
  • JPEG joint 1 photographic experts group
  • a line-based codec for example, Wavelet, DCT (Discrete Cosine Transform) that bundles and compresses one or more lines, or divides and compresses two or more lines into 2 ⁇ 2 or more macro blocks.
  • a codec that reduces a transmission rate without performing compression such as DCT or Wavelet by obtaining a difference between a specific code amount region (a Picture or a bundle of plural lines or a macroblock or the like) or the previous code amount region. It can correspond.
  • an image may be transmitted and received without compression between the information processing device 200 and the information processing device 300.
  • the information processing apparatus 200 for example, storage of image data and audio data generated by an imaging operation, hard disk, etc. It is assumed that content stored in the device (for example, content consisting of image data and audio data) or the like.
  • An electronic device for example, a personal computer, a game machine, a smartphone, a tablet terminal
  • a camera may be used as the information processing apparatus 200 that is a data transmission source.
  • another electronic device for example, an imaging apparatus, a game machine, a smartphone, a tablet terminal
  • a display unit may be used as the information processing apparatus 300 which is a transmission destination of data.
  • content stored in an ISP Internet Services Provider
  • ISP Internet Services Provider
  • image data generated by the imaging operation of the information processing apparatus 200 is transmitted to the information processing apparatus 300, and the image processing apparatus 300 displays an image based on the received image data on the display unit.
  • the information transmission range 101 is an information transmission range (service range) in the case where the information processing device 300 is used as a reference.
  • FIG. 18 shows an example of a basic sequence from P2P direct connection to construction of a multi-sink topology environment.
  • the figure shows an operation example in which the information processing apparatus 400 joins a group in an environment in which the information processing apparatus 200 as a source device is connected to the information processing apparatus 300 as a sink device by P2P direct communication.
  • the information processing apparatus 200 has already been connected between P2P clients of the information processing apparatus 300 as a GO (Group Owner). Therefore, the invitation request process is performed from the information processing device 200 to the information processing device 400. Alternatively, the Provision Discovery process may be performed from the information processing device 400 to the information processing device 200. The operation sequence will be described by taking the invitation request process as an example, and the information processing apparatus 400 sends back an invitation response process to the information processing apparatus 200.
  • the information processing device 200 connects the information processing device 400 as a new P2P client. Then, by mutually performing service discovery, a multi-sync topology is constructed with the information processing device 200 as a source device and the information processing device 300 and the information processing device 400 as a sink device.
  • the content to be transmitted from the information processing apparatus 200 to the information processing apparatus 300 or the information processing apparatus 400 and displayed after the multi-sync topology is constructed may be the same content (image) or may be different content (image).
  • the image displayed on the information processing device 200 may be transmitted to the information processing device 300 as it is, and the content stored in the storage unit of the information processing device 200 may be transmitted to the information processing device 400.
  • FIG. 2 schematically shows a functional configuration example of the information processing apparatus 200 operating as a source device in the communication system 100 according to the first embodiment.
  • the information processing apparatus 200 includes an antenna 210, a wireless communication unit 220, a control signal reception unit 230, a control unit 240, an image / sound signal generation unit 250, an image / sound compression unit 260, and a stream transmission unit 270. Have. Each part will be described below.
  • the wireless communication unit 220 uses the wireless communication based on the control of the control unit 240 to communicate each information (eg, image data) with another information processing apparatus (eg, a sink device such as the information processing apparatus 300). , Audio data, and control data) via the antenna 210.
  • each information eg, image data
  • another information processing apparatus eg, a sink device such as the information processing apparatus 300.
  • Audio data e.g., Audio data, and control data
  • the image data generated by the image / sound signal generation unit 250 is compressed by the image / sound compression unit 260 and the compressed image data ( The image stream is transmitted from the antenna 210 via the wireless communication unit 220.
  • the wireless communication unit 220 can transmit and receive each information with another information processing apparatus (for example, the information processing apparatus 300) using a plurality of frequency channels.
  • another information processing apparatus for example, the information processing apparatus 300
  • the wireless communication unit 220 has a function capable of transmitting and receiving only frequencies at which three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz are simultaneously or selected.
  • the sink device for example, the information processing apparatus 300
  • the sink device may control which frequency channel is to be used by each source device. it can.
  • the control signal reception unit 230 exchanges among the information received by the wireless communication unit 220 the control signal (for example, the information processing apparatus 300) transmitted from another information processing apparatus (for example, the information processing apparatus 300). Get information). Then, the control signal receiving unit 230 outputs the acquired control signal to the control unit 240.
  • the control unit 240 controls each information transmitted from the information processing apparatus 200. For example, based on the control signal received by the control signal reception unit 230, the control unit 240 controls the image / sound signal generation unit 250 and the image / sound compression unit 260. Specifically, the control unit 240 performs control to change the resolution of the image data to be transmitted and the number of audio channels, and control to change the image area of the image data to be transmitted. That is, based on the control signal received by the control signal receiving unit 230, the control unit 240 performs transmission control of the stream to be transmitted. Transmission control of this stream is, for example, data transmission rate control, scalability transmission rate control
  • control unit 240 has a function of measuring a radio wave propagation condition (link radio wave propagation condition) when data is transmitted / received to / from the sink device (for example, the information processing apparatus 300) using wireless communication.
  • the radio communication unit 220 may transmit the measurement result (radio wave propagation measurement information) to the sink device.
  • the radio wave propagation measurement information referred to here is, for example, information used when determining whether the channel quality with the sink device is a quality capable of transmitting and receiving image data and audio data.
  • the radio wave propagation measurement information is used, for example, when performing transmission control of a stream.
  • the data transmission rate said here mainly means the rate of occupying the communication path, and includes the meaning of the communication rate and the communication capacity.
  • the resolution is defined as, for example, an index of image quality composed of elements such as an image frame (number of pixels in vertical and horizontal directions) of image data and a bit rate (compression ratio) of image data.
  • the stream throughput can be used as an index of the image quality.
  • the number of audio channels is the recording of audio such as monaural (1.0 ch), stereo (2.0 ch), 5.1 ch, 6.1 ch, 9.1 ch and high resolution audio (High-Resolution Audio). It includes the meaning of the reproduction method.
  • the number of audio channels is defined as an index of sound quality including elements such as bit rate (compression rate) of audio data and the number of channels.
  • the stream throughput can be used as a sound quality indicator.
  • control unit 240 performs control to improve a state that can not be stabilized by data transmission rate control.
  • the control unit 240 grasps system performance information of the sink device by exchanging information with the sink device (for example, the information processing device 300).
  • the system performance information referred to here is, for example, performance information on the system of the sink device.
  • the system performance information is an available frequency channel, resolution, transmission control protocol (TCP (Transmission Control Protocol), UDP (User Datagram Protocol)).
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • the system performance information is, for example, information indicating the correspondence of the encryption method, the correspondence of SD (Standard Definition) / HD (High Definition) / 4K, and the correspondence of the low power consumption mode.
  • the control unit 240 can select a stream transmission control method to further improve the stability of the entire system of the communication system 100 depending on whether the sink device corresponds to the low power consumption mode.
  • control unit 240 inserts information on whether the information processing apparatus 200 is a mobile device into the exchange of information with the sink device.
  • the capability information on the information processing apparatus 200 can include information on whether the information processing apparatus 200 is a mobile device.
  • the sink device such as the information processing device 300 recognizes that the information processing device 200 is a mobile device, it is not necessary to operate the information processing device 200 based on the relationship with other information processing devices connected. It can be judged.
  • the information processing device 200 receives the transmission stop command from the sink device.
  • control unit 240 grasps the transmission stop command, the power supply of each function of the image / sound signal generation unit 250, the image / sound compression unit 260, and the stream transmission unit 270 may be turned down for a predetermined time. it can.
  • control unit 240 can also shift to the intermittent reception (the mode in which the wireless communication unit 220 periodically wakes up to the extent that it can receive a command from the sink device, and the other is power down).
  • the image / sound signal generation unit 250 generates data (image data, sound data) to be output based on the control of the control unit 240, and outputs the generated data to the image / sound compression unit 260.
  • the image / sound signal generation unit 250 includes an imaging unit and a sound acquisition unit (both not shown).
  • the imaging unit for example, a lens, an imaging element, and a signal processing circuit
  • the sound acquisition unit for example, a microphone
  • the data generated by the image / sound signal generation unit 250 is to be transmitted to another information processing apparatus (for example, a sink device such as the information processing apparatus 300).
  • the image / sound compression unit 260 compresses (encodes) the data (image data and sound data) generated by the image / sound signal generation unit 250 based on the control of the control unit 240. Then, the image / sound compression unit 260 outputs the compressed data (image data and sound data) to the stream transmission unit 270.
  • the image / sound compression unit 260 may be realized by execution of encoding by software, or may be realized by execution of encoding by hardware. Also, although it is assumed that the image / voice compression unit 260 functions as a codec, it can handle uncompressed images or sounds. Furthermore, the image / voice compression unit 260 also functions as a scalable codec.
  • the scalable codec here means, for example, a codec that can be freely adapted according to the resolution of the information processing apparatus (sink device) on the receiving side, the network environment, and the like.
  • the stream transmission unit 270 transmits the data (image data and audio data) compressed by the image / sound compression unit 260 as a stream from the antenna 210 via the wireless communication unit 220 under the control of the control unit 240. Perform transmission processing.
  • the information processing apparatus 200 can include a display unit, an audio output unit, an operation reception unit, and the like in addition to the above-described units, these are not illustrated in FIG. 2 for simplification. .
  • a display unit (not shown) of the information processing apparatus 200 displays, for example, an image generated by the image / sound signal generation unit 250.
  • Various display panels can be used as the display portion.
  • organic EL Electro Luminescence
  • crystal LED Light Emitting Diode
  • LCD Liquid Crystal Display
  • an audio output unit (not shown) of the information processing apparatus 200 is, for example, a speaker, and outputs the audio generated by the image / audio signal generation unit 250.
  • the image may be output from both the transmitting device and the receiving device, but it is preferable to output only one of the sounds.
  • an operation receiving unit (not shown) of the information processing apparatus 200 is configured by, for example, a keyboard, a mouse, a game pad, a touch panel, a camera, and a microphone, and receives an operation input performed by the operator.
  • the operation receiving unit and the display unit described above can be integrally configured using a touch panel that allows an operator to perform an operation input by bringing a finger into contact with or in proximity to the display surface.
  • the information processing apparatus 200 acquires image data and audio data to be transmitted from an external apparatus. You may do so.
  • the information processing apparatus 200 may acquire image data and audio data to be transmitted from a web camera with a microphone.
  • the information processing apparatus 200 may set, as a transmission target, content (for example, content including image data and audio data) stored in a storage device (for example, a hard disk) (not shown).
  • content for example, content including image data and audio data
  • the storage device may be either built-in or externally connected to the information processing apparatus 200.
  • the content stored in the storage device is compressed content.
  • the compressed content is compressed by the encoding method defined in the standard adopted in the communication system 100, the compressed content is transmitted as it is without being decoded. It is also good.
  • FIG. 3 schematically shows an example of a functional configuration of the information processing apparatus 300 operating as a sink device in the communication system 100 according to the first embodiment. It should be understood that the other information processing apparatus 400 also has the same functional configuration.
  • the information processing apparatus 300 includes an antenna 310, a wireless communication unit 320, a stream reception unit 330, an image / sound expansion unit 340, an image / sound output unit 350, a user information acquisition unit 360, and a control unit 370.
  • a control signal transmission unit 380 and a management information holding unit 390 are provided.
  • the image / sound output unit 350 includes a display unit 351 and a sound output unit 352. Each part will be described below.
  • the wireless communication unit 320 utilizes wireless communication to communicate each information (eg, image data) with another information processing apparatus (eg, a source device such as the information processing apparatus 200). And voice data) via the antenna 310.
  • the image data received by the antenna 310 is expanded by the image / sound expansion unit 340 via the wireless communication unit 320 and the stream reception unit 330. (Decrypted).
  • the expanded image data is supplied to the image / sound output unit 350, and an image corresponding to the expanded image data is output from the image / sound output unit 350. That is, an image corresponding to the expanded image data is displayed on the display unit 351. Further, a voice corresponding to the expanded voice data is voice-outputted from the voice output unit 352.
  • the wireless communication unit 320 can transmit and receive each information with another information processing apparatus (for example, the information processing apparatus 200) using a plurality of frequency channels.
  • another information processing apparatus for example, the information processing apparatus 200
  • the wireless communication unit 320 has a function capable of transmitting and receiving only frequencies at which three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz are simultaneously or selected. That is, it is assumed that the wireless communication unit 320 can perform communication using the first frequency band and communication using the second frequency band having a data transmission speed higher than that of the first frequency band.
  • the control unit 370 controls which frequency channel of the plurality of frequency channels is used for wireless communication with each source device.
  • the links between the devices may be the same frequency channel or may be different frequency channels.
  • the wireless communication unit 320 has a function capable of transmitting and receiving three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz will be described, but frequency channels to be used are not limited thereto.
  • the wireless communication unit 320 may have only a function capable of transmitting and receiving another frequency channel or one or two types of frequency channels.
  • a function capable of transmitting and receiving four or more types of frequency channels may be provided.
  • the stream receiving unit 330 receives, from among pieces of information received by the wireless communication unit 320, information on interaction with each source device and a stream (for example, an image stream, an audio stream) under the control of the control unit 370. Do. Then, the stream reception unit 330 outputs the received exchange information to the control unit 370, and outputs the received stream to the image / sound expansion unit 340 and the control unit 370.
  • a stream for example, an image stream, an audio stream
  • Information on the exchange with each source device referred to here is information transmitted from the source device (for example, the information processing device 200), and includes, for example, an acquisition request for system performance information of the information processing device 300.
  • This system performance information is, for example, information indicating available frequency channels, resolution, TCP, UDP, correspondence of encryption method, correspondence of SD / HD / 4K correspondence, and correspondence of low power consumption mode.
  • the stream reception unit 330 has a function of measuring a radio wave propagation condition (link radio wave propagation condition) when data is exchanged with the source device using wireless communication. Then, the stream receiving unit 330 outputs the measurement result (radio wave propagation measurement information) to the control unit 370.
  • the image / sound expansion unit 340 expands (decodes) streams (image data and sound data) transmitted from another information processing apparatus (for example, the information processing apparatus 200) based on the control of the control unit 370. Then, the image / sound expansion unit 340 outputs the expanded data (image data and sound data) to the image / sound output unit 350.
  • the image / sound expanding unit 340 may be realized by execution of decoding by software, or may be realized by execution of decoding by hardware. Also, the image / sound expansion unit 340 is assumed to function as a codec, but it is assumed that it can handle uncompressed images or sounds. In addition, the image / sound expansion unit 340 also functions as a scalable codec.
  • the display unit 351 in the image / sound output unit 350 displays each image based on the image data expanded by the image / sound expansion unit 340.
  • a display panel such as an organic EL panel, a crystal LED display, an LCD panel, or the like can be used.
  • a touch panel on which an operator can perform an operation input when the operator touches or approaches the display surface may be used.
  • the audio output unit 352 is formed of, for example, a speaker, and outputs various types of audio (such as audio related to the image displayed on the display unit 351) based on the audio data expanded by the image / sound expansion unit 340.
  • an audio output method for example, a method of reproducing only the sound of the source device allocated to the center channel (main image) from the speaker and not reproducing the sound of the source device allocated to the peripheral channel (sub image) is used. be able to.
  • another audio output method for example, using the method of mainly reducing the volume of the sound of the source device allocated to the peripheral channel with the volume of the sound of the source device allocated to the central channel as the main Can.
  • voice output methods may be used.
  • the user information acquisition unit 360 acquires information (user information) on the operator of the information processing apparatus 300, and outputs the acquired user information to the control unit 370.
  • the user information acquisition unit 360 acquires user information by receiving an input from an operation reception unit (a keyboard, a mouse, a remote control, a game pad, a touch panel) that allows an operator to directly set a display method. Can.
  • the operation receiving unit is, for example, an operation member for specifying an arbitrary area in the image displayed on the display unit 351.
  • the user information acquisition unit 360 may receive an input from a device that can grasp the intention of the operator, such as a camera, a microphone, various sensors (for example, a gyro sensor, a sensor that detects a human body), etc. User information can be acquired.
  • the user information acquisition unit 360 operates when the information based on the stream received from another information processing apparatus (for example, the information processing apparatus 200) using wireless communication is output from the image / voice output unit 350.
  • User information generated by the user's user action is, for example, user information generated by a user operation related to an image displayed on the display unit 351.
  • the user information is information generated based on a user operation on an image displayed on the display unit 351.
  • the user information acquisition unit 360 can acquire image data generated by an imaging unit (not shown) attached to the display unit to generate user information.
  • the user information acquisition unit 360 may generate, for example, user information by acquiring information (for example, position information, identification information) acquired by an external device (for example, each sensor or wearable device). .
  • the control unit 370 causes the management information holding unit 390 to hold each piece of information acquired by the stream reception unit 330, and manages the source device based on the management information held in the management information holding unit 390. In addition, in the multi-source topology environment, the control unit 370 performs stream transmission control to improve the stability of the stream transmitted from a plurality of source devices in the entire system.
  • control unit 370 performs stream transmission control based on the user information acquired by the user information acquisition unit 360 and the management information stored in the management information storage unit 390. Specifically, based on the management information held in the management information holding unit 390, the control unit 370 generates a control signal for performing transmission control of the stream for each source device. Then, control unit 370 outputs the generated control signal to control signal transmission unit 380. For example, the control unit 370 changes the resolution of the image displayed on the display unit 351 based on the user information and the management information, and generates a control signal for requesting each source device to have a transmission rate equivalent to this resolution. Do.
  • control unit 370 generates a control signal for determining the display area of the image on the display unit 351 based on the user information and the management information. Also, for example, the control unit 370 generates a control signal for determining the size of the image on the display unit 351 based on the user information and the management information.
  • control unit 370 performs control for setting the frequency channel to be used and the resolution based on the user information and the management information. For example, the control unit 370 sets, for each source device, a frequency channel to be used for a plurality of frequency channels included in the wireless communication unit 320. In addition, when the power consumption mode is different for each frequency channel, the control unit 370 recognizes each mode and enables setting of the frequency channel that has taken care of the power consumption of the mobile device. That is, control unit 370 sets the first power consumption mode for the first frequency band and the second power consumption mode for the second frequency band having a data transmission speed faster than the first frequency band separately. can do.
  • the control signal transmission unit 380 performs a transmission process of transmitting the control signal output from the control unit 370 to another information processing apparatus via the wireless communication unit 320 and the antenna 310.
  • FIG. 4 shows an example of a connection sequence between the source device 410 and the sink device 420 in the first embodiment.
  • the figure is an example of communication processing of exchange (WFD capability negotiation) using RTSP (Real Time Streaming Protocol) protocol.
  • the source device 410 and the sink device 420 correspond to the information processing apparatus 200 and the information processing apparatus 300 in the communication system 100 shown in FIG. 1, respectively.
  • an “RTSP M3 Request” (RTSP GET_PARAMETER Request) message transmitted from the source device 410 to the sink device 420, and from the sink device 420 in response thereto.
  • An “RTSP M3 Response” (RTSP GET_PARAMETER Response) message transmitted to the source device 410 can be used.
  • the signal may be transmitted from the source device 410 to the sink device 420 as appropriate.
  • the exchange of the above-mentioned "RTSP M3 Request” message and "RTSP M3 Response” message is omitted, and management information is included in the message transmitted from the source device 410 to the sink device 420.
  • Management information may be transmitted to 420, and the sink device 420 may select information and hold it in the management information holding unit 390.
  • link protection setup may be performed after the “RTSP M3 Response” message, and then communication may be performed while securing secrecy regarding messages of M4 or more.
  • the information of the sink device 420 received as RTSP M3 Response is as follows.
  • connection sequence between the source device 410 and the sink device 420 shown in FIG. 4 is the connection sequence between the information processing device 200 and the information processing device 300 in the communication system 100 according to the first embodiment, and the information processing device 200 This applies to the connection sequence with the information processing device 400.
  • the accessibility mode is a mode corresponding to access security (web accessibility) for people with physical disabilities and people whose physical function is deteriorated due to old age. Accessibility for each disability to be supported, such as “visual disability support” to support visual impairment, “hearing support” to support hearing impairment, “physical function (operation difficulty) support to support cognitive or physical disability”
  • the type of mode (corresponding operation in the information processing apparatus) is different. The operation of the information processing apparatus in each accessibility mode type will be exemplified below.
  • Vision-impaired support ⁇ Provide visual support by reading out the contents of the screen aloud. Specifically, there is a terminal that reads out the application name aloud, changes taps, taps once to select an icon, and double taps to execute the icon. Furthermore, a method of notifying that an icon has been selected by vibration, or connection of a Braille display can be made. -It is possible to enlarge the characters of the screen, to zoom in / out on the screen by the zoom function, to reverse the color of the screen, etc.
  • FIG. 8 summarizes a response request to the information processing apparatus for each type of failure and an operation example that the information processing apparatus actually supports.
  • TTS text to speech
  • notification sound convex point
  • Braille Braille
  • display voice operation
  • the corresponding operation “voice, tactile information presentation, operation”.
  • the corresponding action “do not use a combination of difficult-to-see colors, write the characters in the information determined by the color”, mention that red / green combination prohibition or writing a character on color keys etc. it can.
  • the corresponding operation “a person with a visual acuity of 0.286 to 0.1 can operate,” characters, enlargement of a screen, change of contrast, and the like can be mentioned.
  • Speech to Text a notification light, a vibration, a gesture, a sign language etc.
  • keyboard response may be mentioned.
  • the corresponding action “providing a mode that does not require cognition, memory, language, and comprehension ability”
  • plain text, TTS, writing a symbol or an illustration can be mentioned.
  • the keyboard shortcut can be listed.
  • compatibility action providing the mode which can operate even a person who is incapable of stretching or exerting a force.
  • a large keyboard, voice operation, etc. can be mentioned as a specific example of the corresponding operation "operation is possible without directly touching the body”.
  • the response request to the information processing apparatus differs depending on the degree of the obstacle. Further, even if the types of failures are different, depending on the degree of failure, there may be cases where the response request to the information processing device or the response operation of the information processing device is the same or similar.
  • FIG. 8 is merely illustrative and that other correspondence requirements for the type of disability may also be considered.
  • the accessibility mode according to the type of disability will be referred to as the "accessibility mode type".
  • FIG. 5A illustrates a connection form in which the source device and the sink device exchange in the accessibility mode.
  • the information processing apparatus 200 and the information processing apparatus 300 operate in the accessibility mode
  • the information processing apparatus 400 operates in the normal mode.
  • FIG. 5B exemplifies a connection form in which the source device in the normal mode and the sink device in the accessibility mode exchange.
  • the information processing apparatus 200 operates in the normal mode, and at least one of the information processing apparatuses 300 or 400 operates in the accessibility mode.
  • the source device checks if it is in accessibility mode when connecting each sink device. And for the sink device in accessibility mode, metadata (figure for guaranteeing the viewing of the image to be transmitted) to support the obstacle when transmitting the original image and audio data It is determined whether to add data necessary to realize the corresponding operation example shown in FIG. 8, for example, audio, video, text, information visualizing audio information, size information, and the like.
  • the source device changes the metadata transmission method depending on whether the accessibility mode of each sink device is on or off. As a transmission method, both Multiple Unicast and Multicast can be used.
  • the source device sends all metadata that needs to be supported to all connected sink devices.
  • each sink device may determine whether to use metadata conforming to its accessibility mode type.
  • the source device performs arbitration to unify the modes of each sink device before starting image transfer. Specifically, the source device requests each sink device (arbitration for unifying the mode of the sink device) so that the modes of the plurality of sink devices match, and the mode of each terminal is matched before image transfer To start.
  • the source device performs the transmission process in the operation mode of its own terminal without performing the arbitration for unifying the mode with the plurality of sink devices as in (1).
  • Each sink device converts it into data that can be handled by its own terminal based on the data received from the source device, and reproduces it.
  • the source device understands connection with the accessibility device in the accessibility mode, and based on the result of ORing the accessibility mode types to be connected from now on, the support will be Send all necessary metadata.
  • the sink device extracts and reproduces only metadata that can be reproduced by the own terminal from among the plurality of received metadata.
  • the source device recognizes the presence or absence of accessibility mode among multiple sink devices, and selects the accessibility mode type if an accessibility mode terminal exists Gather all possible metadata from the Capability Negotiation process.
  • the sink device extracts and reproduces only metadata that can be reproduced by the own terminal from among the plurality of received metadata.
  • the source device collects, from the Capability Negotiation process, the accessibility mode type in which a plurality of sink devices are selected. As a result of information collection, grouping is performed for each type of the same obstacle, and metadata corresponding to each group is transmitted.
  • FIG. 6 shows an example of the connection sequence between the source device and each sink device in the above approach (1) in the topology environment shown in FIG. 5A.
  • the sink device 300 matches up to the accessibility mode type and an approach for converting the sink device 400 from the normal mode to the accessibility mode are required.
  • Metadata for accessibility mode (described in FIG. 6) as well as transmission of normal content data (content data described in FIG. 6) Any one or more of the above visual support, auditory support, and physical function (operation difficulty) support are separately transmitted as metadata).
  • the transmission procedure of the metadata for accessibility mode and the content data is not limited to the communication procedure shown in FIG.
  • the metadata for accessibility mode is information that interpolates content data (to support a failure), and one or the other may be transmitted other than being transmitted simultaneously with the content data.
  • the sink device 300 receives the content data from the source device 200 and at the same time receives the metadata for accessibility mode, and appropriately displays the optimum content by the control inside the sink device 300.
  • the sink device 300 operates the accessibility mode to remotely select the video or audio of the source device 200, the sink device 300 to the source device 200 separately from the content data and the metadata.
  • the operation information of is transmitted as the operation information for accessibility mode (operation metadata described in FIG. 6).
  • the source device 200 receives the operation information of the sink device 300 as the operation information for accessibility mode of the sink device 300 from the sink device 300, the source device 200 operates according to the received operation information.
  • the operation of the source device 200 based on the operation information for accessibility mode is a function equivalent to that of the conventional UIBC
  • the data type of the UIBC is voice, video, text information, or by considering the access security. Information visualizing audio information shall also be included.
  • a message signal for mode exchange may be prepared in which the normal mode and the accessibility mode are changed halfway. For example, when this message is exchanged between transmission and reception, it is possible to change the type of the normal mode and the accessibility mode or the accessibility mode without disconnecting the wireless video transmission currently being transmitted and received.
  • FIG. 11 shows an example of command exchange).
  • the source device may cause the sink device that is operating to display a pop-up to confirm whether there is a problem with the operator.
  • the source device 200 When the video and audio to be transmitted from the source device 200 to the sink device 300 are operated on the source device 200 side, the source device 200 performs an operation so that the accessibility mode types of the source device 200 and the sink device 300 match.
  • the metadata for accessibility mode linked to the created video, audio, and text is sent to the sink device 300.
  • the source device 200 performs transmission processing after converting the accessibility mode metadata into content media that can be operated by the sink device 300.
  • the source device 200 transmits subtitle data as text and adjusts the volume of audio for movie and video viewing content.
  • the source device 200 performs processing of transmitting control data to the sink device 300 so that the incoming light can be realized by the LED flash on the side of the sink device 300.
  • the sink device 400 when the sink device 400 receives content data for accessibility mode or metadata for accessibility mode from the source device 200, the content is appropriately converted to the appropriate content. Then display.
  • the source device 200 receives remote operation information of the source device 200 (converted to operation information that can be received by the source device 200) from the sink device 400, and the received operation metadata is used as it is in the accessibility mode. Process as operation data.
  • the function is equivalent to that of the conventional UIBC, but by considering the access security, the data type of UIBC may include audio, video, text information, or information visualizing audio information. .
  • the operation for realizing the approach (2) is not limited to the above.
  • data conversion suitable for the accessibility mode may be either the source device 200 or the sink device 400 side.
  • the source device 200 may be capable of converting to the normal mode.
  • a conversion operation is required for transmission between devices having different modes.
  • the sink devices 300 and 400 can not interpret the operation content, so the accessibility of the sink device 300 in the source device 200 is In order to understand the mode and the operation of the normal mode of the sink device 400, it is suitable to be grasped by the source device 200.
  • the sink device 420 sends back the accessibility capability set on the sink device 420 with GET_PARAMETER Response according to the RTSP GET_PARAMETER Request from the source device 410.
  • FIG. 7 shows an example of the contents of the response of this GET_PARAMETER Response.
  • the source device 410 exchanges accessibility capabilities with the sink device 420
  • the following will be used as an example of the message in the case where the source device 410 implements the Miracast standard.
  • FIGS. 10 and 11 show a sequence example of performing the Capability Negotiation communication process between the source device and the sink device in the communication system 100 according to the first embodiment.
  • FIGS. 10 and 11 show communication examples (examples of setting of accessibility mode metadata) for setting accessibility mode metadata in Capability Negotiation.
  • This metadata setting method for accessibility mode is an example in the case of being adapted to the Wi-Fi CERTIFIED Miracast standard.
  • Wfd-accessibility-capability is exchanged between the source device 410 and the sink device 420 by the M3 message (RTSP GET_PARAMETER).
  • the purpose of this exchange is for the source device 410 to confirm whether the sink device 420 incorporates the accessibility mode metadata function.
  • the bit assignment of the accessibility support request of FIG. 9 is simultaneously raised in each message of RTSP M3 of the CapabilityNegotiation of S601 and S602 in the communication sequence shown in FIG.
  • the source device 200 determines that all the sink devices 300 and 400 can set a uniform accessibility mode.
  • the source device 200 determines which of the following two can be generated as metadata for accessibility mode.
  • the source device 200 When the source device 200 can determine that either of the two accessibility mode metadata can be generated, the source device 200 sets the corresponding accessibility mode as Wfd-accessibility-setting. Make it
  • the source device 410 when the source device 410 receives the capability information of the sink device 420 from the sink device 420, the source device 410 makes the M4 message accessible to the sink device 420. • Make a mode metadata line setting request. Note that the connection request may be made using the M14 message after the image transmission is started without transmitting the accessibility mode metadata circuit setting request using the M4 message. Further, at the time of M14 message transmission, not only the request from the source device 410 but also the accessibility mode metadata line setting request may be made from the sink device 420 to the source device 410 as shown in FIG. 11A.
  • the metadata for accessibility mode will be Enable, but if M14 messages are exchanged, M15 message The metadata for accessibility mode does not become Enable until it receives. Therefore, as shown in FIGS. 10B and 11B, the source device 410 or the sink device 420 exchanges the M15 message after receiving the response to the accessibility mode metadata circuit setting request. As a result, the accessibility mode metadata line is enabled.
  • the metadata channel for accessibility mode is requested from the sink device 420.
  • FIG. 11A as shown to FIG. 10A, suppose that it can also set at the time of Capability Negotiation before a video transmission start.
  • the accessibility mode type is determined by the Capability Negotiation, but may be other.
  • Deivce Decovery or Service Discovery may be used.
  • a protocol in P2P Information Element (IE), WFD Information Element (IE), Application Service Platform (ASP), Universal Plug and Play (UPnP) standard, etc. may be used. Good.
  • a new channel for transmitting metadata for accessibility mode (data necessary for realizing the corresponding operation example of FIG. 8, for example, voice, video, text, vibration) from the source device to the sink device should be newly established. You can also. In addition, it is decided whether to make the UIBC to be transmitted from the sink device to the source device play according to the connection setting that is not enabled, by adding meaning to accessibility mode metadata or according to the setting mode according to the setting mode Can be selected.
  • FIG. 12 summarizes an operation example of the sink device in each accessibility mode type by setting the accessibility mode metadata circuit to Enable.
  • the "Accessibility” (visual support, hearing support, operation difficulty support, cognitive support) column shows the mode type set between the source device and the sink device
  • the "media data” column is: It indicates the media of content data, and corresponds to data transmitted by RTP in the Miracast standard.
  • Accessibility data indicates media (metadata for accessibility mode) transmitted using an accessibility metadata circuit.
  • RTSP or TCP is transmitted as a protocol of the accessibility metadata circuit.
  • the columns "Accessible mode supported” or “Normal mode supported” show an example of the difference between the display modes when the accessibility mode is selected and when the normal mode is selected on the sink device. ing.
  • the accessibility mode type is "visually impaired” and “operable without visual acuity” (see FIG. 8)
  • voice and tactile operations are possible, so in FIG.
  • audio is transmitted as media data, and operation audio is transmitted from the source device to the sink device as metadata for accessibility mode.
  • the sink device receiving audio for media and data and audio for operation as metadata for accessibility mode has the accessibility operation button on the screen of the sink device shown in the accessibility mode (for example, shown in FIG. 17 (described later)).
  • the media audio is muted or the volume is lowered, and the operation audio is mainly reproduced.
  • the normal mode for example, when the default operation button is on on the screen of the sink device shown in FIG. 17
  • priority is given to media voice, and processing for not playing operation voice is performed.
  • FIGS. 13A and 13B show, in the form of a flowchart, a processing procedure for the source device to select a common accessibility mode from among a plurality of accessibility modes for sink devices.
  • control unit 240 of the source device 200 starts Capability Negotiation with each sink device (which is present in the information transfer range 101) to be connected (step S902).
  • the control unit 240 determines whether to request operation in the accessibility mode (step S903). For a sink device that does not require operation in the accessibility mode (No in step S903), the source device 200 starts communication in the normal mode.
  • control unit 240 of the source device 200 registers the sink device in the metadata management list and holds the same (step S904).
  • step S905 When the confirmation for all the sink devices to be connected has not been completed (No in step S905), the process returns to step S902 to repeat the same process as described above. In addition, when the confirmation for all the sink devices to be connected is completed (Yes in step S905), the control unit 240 proceeds to the process of next step S906.
  • the source device 200 checks whether grouping can be performed for each sink device having the same accessibility mode type (step S906).
  • step S906 If the sink devices are not divided into groups for each accessibility mode type (No in step S906), metadata for all accessibility modes is sent to all the sink devices to be connected (step S907), and this processing is performed. Finish.
  • the source device 200 confirms the type of accessibility mode (step S908). If the type of accessibility mode does not need to be considered or type information is not included (No in step S909), the mode with the highest priority is selected from among the accessibility modes.
  • FIG. 13B shows a case where the priority is high in the order of visual support, hearing impairment, and operation difficulty.
  • the source device 200 determines whether the accessibility mode of the group is visual support, auditory support, or physical (operation difficulty) support from the Capability information received from the sink device.
  • the source device 200 provides audio synchronized with content media transmission as metadata for accessibility mode (for example, reads the content of the application) (Process) and the process of providing the name of the icon selected when the operator taps to the process of providing by voice (Step S913), and transmitting to each sink device assigned to the group (Step S916).
  • the method of providing audio include a method of providing as part of audio of content media for accessibility mode, and a method of inserting audio as metadata for accessibility mode, but is not limited thereto. .
  • the source device 200 provides subtitles synchronized with content media transmission as metadata for accessibility mode, and the operator sets it.
  • the voice notification thus generated is converted into an LED flash (step S914), and transmitted to each sink device assigned to the group (step S916).
  • methods of providing subtitles and LED flash include a method of providing as a part of content media, and a method of providing as metadata for accessibility mode, but it is not limited thereto.
  • the packet type when wirelessly transmitting content media and metadata for accessibility mode may be either multicast packet or unicast packet.
  • the source device 200 converts the data of gesture operation created independently to pointing that the sink device can understand (Ste S915) A process of transmitting to each sink device assigned to the group is performed (step S916).
  • the content type to be transmitted and the packet type for wirelessly transmitting the metadata for accessibility mode may be either a multicast packet or a unicast packet.
  • Step S917 is processing to end this operation flow.
  • the operation means may be converted by transmitting or receiving, and the modes may be matched.
  • the wireless communication unit 220 of the source device 200 performs real-time image transmission with the sink device according to the Wi-Fi CERTIFIED Miracast specification.
  • the control unit 240 causes the display unit (not shown in FIG. 2) to display an image based on the image information transmitted from the source device, and exchanges accessibility mode metadata regarding the image with the sink device.
  • UIBC User Data Management
  • WebSocket To control ports used for multiple communication methods (UIBC, WebSocket).
  • the control unit 240 specifies information for specifying a plurality of communication methods using the port (for example, as shown in FIG. ))) To the sink device.
  • the control unit 240 can set a plurality of ports for each of a plurality of communication methods as ports used for a plurality of communication methods. In this case, the control unit 240 can set a plurality of ports in response to a request from the sink device.
  • control unit 240 can set one port for a plurality of communication methods as a port used for a plurality of communication methods.
  • control unit 240 of the information processing device 200 transmits, to the sink device, image information for causing the display unit on the sink device side to display an image.
  • control unit 240 can perform control to set ports used in a plurality of communication methods for exchanging control information regarding the image with the sink device.
  • FIG. 16 schematically shows a configuration example of a communication system 1100 according to the second embodiment of the technology disclosed in the present specification.
  • FIG. 16 illustrates an example of a communication system capable of performing wireless communication by P2P direct communication.
  • the communication system 1100 includes a plurality of information processing apparatuses 1200, 1300, and 1400.
  • the communication system 1100 is configured such that the information processing device 1300 receives data (for example, image data and audio data) transmitted from at least one of the information processing device 1200 and the information processing device 1400.
  • the information processing devices 1200, 1300, and 1400 are transmitting and receiving devices provided with a wireless communication function.
  • the operation of the communication system 1100 will be described by taking, as an example, wireless communication between the information processing apparatus 1200 and the information processing apparatus 1300 or between the information processing apparatus 1400 and the information processing apparatus 1300 using wireless LAN.
  • the illustrated communication system 1100 contemplates wireless connection in a multi-source topology environment using P2P direct communication.
  • the information processing apparatuses 1200 and 1400 are source devices, and the information processing apparatus 1300 is a sink device.
  • the image data generated by the imaging operation of the information processing device 1200 is transmitted to the information processing device 1300, and the image 111 based on the image data is displayed on the display unit 1351 of the information processing device 1300.
  • content stored in a storage unit (for example, a hard disk) of the information processing apparatus 1400 is transmitted to the information processing apparatus 1300, and an image 112 based on the content is displayed on the display unit 1351 of the information processing apparatus 1300.
  • the information processing apparatus 1300 may include an imaging unit 1361 that images an operator or the like.
  • the information transmission range 1101 is an information transmission range (service range) in the case where the information processing device 1300 is used as a reference.
  • FIG. 14A exemplifies a connection form in which the source device in the accessibility mode and the normal mode both interact with the sink device in one accessibility mode.
  • FIG. 14B illustrates a connection mode in which the source devices in the normal mode and the accessibility mode both exchange with one normal mode sink device.
  • the multi-source topology environment is different from the multi-sink topology environment described in the first embodiment.
  • the following approaches (11), (12) are possible as in the first embodiment.
  • the sink device responds to each source device to match the modes of the plurality of source devices, prompts the source device to match the mode of each terminal, and then starts image transfer.
  • the sink device does not perform arbitration to unify the mode with a plurality of source devices as described in (11) above, and converts the data into data that the own terminal can handle based on the data received from the source device Let me play it.
  • the difference from the first embodiment is that in the multi-source topology environment, UIBC data is transmitted from the sink device to a plurality of source devices.
  • the following (21) to (23) can be mentioned as the packet format of the UIBC exchanged between the source device and the sink device.
  • the sink device may display a pop-up for confirming with the operator whether there is a problem with the operated sink device.
  • FIG. 17 illustrates a large screen display 1700 including buttons for specifying accessibility operation and default operation.
  • the large screen display 1700 operates as a sink device in a multi-source topology environment, and includes, for example, an accessibility operation button 1711 and a default operation button 1712 on a touch panel screen.
  • the operator selects one of the accessibility operation button 1711 and the default operation button 1712 to indicate whether the user wants to perform the accessibility mode operation or the operation of the default display device.
  • the mode exchange signal for changing the normal mode and the accessibility mode in the middle By transmitting or receiving the above in the middle of transmission, efficient operation can be performed without returning to the initial operation even in the environment changed by the operator.
  • the control channel of the UIBC can be switched to the requested source device during connection.
  • the source device can switch the control channel of the UIBC to the requested sink device during connection in order to transmit display position information of the source device by an operation from the sink device.
  • FIG. 15 shows an example of communication processing of image data and audio data using the WebSocket between the source device 410 and the sink device 420 in the first embodiment.
  • FIG. 15A shows an example of communication processing between the source device 410 and the sink device 420.
  • 15B and 15C show an example of the frame format of the WebSocket exchanged between the source device 410 and the sink device 420.
  • the source device 410 of Wi-Fi CERTIFIED Miracast functions as a WebSocket client
  • the sink device 420 functions as a WebSocket server.
  • server or client may be used, but in a multiple connection environment, GO (groups and It is desirable for the owner to operate as a WebSocket server function.
  • the source device 410 transmits the Host, Sec-WebSocket-Key, and Sec-WebSocket-Version to the sink device 420, as indicated by reference numeral 441.
  • the Host specifies the connection destination of the WebSocket.
  • Sec-WebSocket-Key is for obtaining a handshake response.
  • Sec-WebSocket-Version is for specifying the version of WebSocket.
  • the sink device 420 creates a value of Sec-WebSocket-Accept based on the value of Sec-WebSocket-Key received from the source device 410. Then, the sink device 420 transmits the created Sec-WebSocket-Accept to the source device 410 as indicated by reference numeral 442.
  • Sec-WebSocket-Accept is for maintaining the connection with the client.
  • the source device 410 transmits the frame format shown in FIG. 15B to the sink device.
  • data to be transmitted can be specified by WebSocket Type ID.
  • FIG. 15C shows an example of this WebSocket Type ID.
  • image data and audio data are exchanged between the source device 410 and the sink device 420 as binary data of WebSocket.
  • the sink device 420 concatenates with the previous data.
  • the sink device 420 processes the payload because the payload is an end flag.
  • RSV is an extension bit.
  • the sink device 420 concatenates with the immediately preceding data. Also, when the opcode is 0x1, the payload is text, and when the opcode is 0x2, the payload is binary.
  • MASK is a bit indicating whether the message is encoded.
  • the message from the source device 410 to the sink device 420 is always encoded.
  • image data and audio data can be transmitted using the WebSocket standard format. Therefore, pre-authentication can be performed with image data and audio data.
  • various other use cases can be accommodated.
  • image data and audio data can be exchanged between the source device and the sink device by using WebSocket while image transmission of the Wi-Fi CERTIFIED Miracast standard is performed.
  • WebSocket may be used to exchange operation metadata.
  • control unit 370 of the information processing apparatus 300 as a sink device can acquire the image information and the audio information transmitted from the source device using the WebSocket.
  • control unit 370 can cause the display unit 351 to display an image based on the image information and cause the audio output unit 352 to output an audio based on the audio information.
  • the operation for the accessibility mode of the source device can be accepted by the sink device. That is, in an environment where images, sounds, texts, and auxiliary information for operation from the source device are displayed on the display unit or the speaker of the sink device, stable operation can be performed and connection control with real-time operation is performed. be able to.
  • the display position can be controlled by the metadata for accessibility mode from the source device.
  • FIG. 19 schematically illustrates an exemplary configuration of a communication system according to an embodiment of the technology disclosed in the present specification.
  • the communication system 1900 shown in the figure includes two information processing apparatuses 200 and 300 each having a wireless communication function, and it is assumed that these apparatuses perform wireless connection by P2P direct communication.
  • the information processing apparatus 300 receives data (for example, image data and audio data) transmitted from the information processing apparatus 200.
  • the information processing apparatuses 200 and 300 constituting the communication system 1900 are, for example, a display apparatus (for example, a personal computer) having a wireless communication function or a portable information processing apparatus (for example, a smartphone or a tablet terminal).
  • the information processing apparatuses 200 and 300 comply with, for example, IEEE 802.11, IEEE 802.15, IEEE 802.16, 3GPP specifications (for example, W-CDMA, GSM (registered trademark), WiMAX, WiMAX 2, LTE, LTE-A).
  • the information processing apparatuses 200 and 300 can exchange various types of information using the wireless communication function.
  • wireless communication using a wireless LAN such as Wi-Fi Direct, TDLS, an ad hoc network, or a mesh network can be performed between the information processing apparatus 200 and the information processing apparatus 300.
  • a wireless LAN such as Wi-Fi Direct, TDLS, an ad hoc network, or a mesh network
  • Wi-Fi CERTIFIED Miracast (described above) can be used.
  • Wi-Fi CERTIFIED Miracast UIBC (described above) is realized on TCP / IP.
  • VNC remote desktop software
  • one information processing device 200 is a source device, and the other information processing device 300 is a sink device.
  • image data generated by the imaging operation of the information processing apparatus 200 is transmitted to the information processing apparatus 300, and an image based on the image data is displayed on the information processing apparatus 300.
  • image data and audio data generated by the image processing operation by the information processing device 200 is a transmission target, and contents stored in a storage device such as a hard disk of the information processing device 200 (for example, image data)
  • contents (voice data) are to be transmitted.
  • an electronic device for example, a personal computer, a game machine, a smartphone, a tablet terminal
  • a camera for example, a camera
  • another electronic device for example, an imaging device, a game machine, a smartphone, a tablet terminal
  • content stored in the ISP may be transmitted as a transmission target via a wireless or wired network.
  • the information transmission range 101 is an information transmission range (service range) in the case where the information processing device 300 is used as a reference.
  • the functional configuration example of the information processing apparatus 200 operating as a source device is the same as that of FIG. 2, and the functional configuration of the information processing apparatus 300 operating as a sink device is FIG. Is the same as Here, the detailed description of the functional configuration of each of the information processing apparatuses 200 and 300 is omitted. Further, the connection sequence using the Wi-Fi CERTIFIED Miracast specification command between the source device 410 and the sink device 420 in the present embodiment is also the same as in FIG. 4, and thus detailed description will be omitted here.
  • FIG. 20 shows the connection between the source device in the accessibility mode and the sink device in the accessibility mode. Further, FIG. 21 shows a connection form for exchange between the source device in the normal mode and the sink device in the accessibility mode. FIG. 22 also shows the connection between the source device in the accessibility mode and the sink device in the normal mode.
  • connection mode In the connection mode shown in FIG. 20, communication processing between the source device and the sink device will be described on the premise that the types of accessibility modes of the source device and the sink device are the same.
  • the visual support, auditory support, body function (operation as metadata for accessibility mode, in addition to the transmission of normal content data) Difficult) Send separately the information currently set from support.
  • the sink device receives the content data from the source device, and at the same time, receives the metadata for accessibility mode, and appropriately controls the sink device to appropriately display the content.
  • the sink device when the sink device operates video and audio transmitted from the source device, the sink device directly transmits the operation information corresponding to the above-mentioned viewing security to the source device.
  • the function is equivalent to that of the conventional UIBC, but the data type of the UIBC is assumed to include audio, video, and text information (operation metadata) by taking account of browsing security.
  • the source device sends the content data and the metadata for accessibility mode to the sink device separately from the sink device, and the sink device controls the operation information of the sink device from the sink device for the accessibility mode of the sink device It receives as information and performs the operation according to the received operation information.
  • the operator when it changes during connection, it may have a message signal for mode exchange that changes the normal mode and the accessibility mode halfway. For example, when a mode exchange message is exchanged between the source device and the sink device, the type of the normal mode and the accessibility mode or the accessibility mode is not cut without disconnecting the wireless video transmission currently being transmitted and received. It is possible to change
  • the source device when the source device operates video and audio transmitted to the sink device by the source device, the source device can operate the sink device based on the video, audio and text created by the operation Convert to content media and then send. For example, in the accessibility mode of hearing support, the source device sends subtitle data as text for movie and video viewing content, adjusts the sound volume of the audio, and the incoming device is realized by the LED flash on the sink device side The control data is transmitted to the sink device so as to be able to.
  • the sink device receives the content data for accessibility mode from the source device and appropriately displays it appropriately.
  • the sink device when the sink device operates video and audio transmitted from the source device, the sink device directly transmits the operation information corresponding to the above-mentioned viewing security to the source device.
  • the function is equivalent to that of the conventional UIBC, but the data type of the UIBC is assumed to include audio, video, and text information (operation metadata) by taking account of browsing security.
  • the source device receives the operation information of the sink device as the operation information for accessibility mode of the sink device from the sink device separately from the transmission of the content data to the sink device, the received operation. Information is converted as normal mode operation data and processed.
  • the communication operation that can be performed by the communication system 100 according to the present embodiment is not limited to the above.
  • the sink device side may be capable of converting to the normal mode.
  • the conversion operation of the taps is essential for different transmissions between the source device and the sink device in mode.
  • the sink device operator registers the user's own operation in physical function (operation difficulty) support, the source device can not interpret it, so switching to tap and gesture operations so that the sink device can understand even in the normal mode It is suitable to transmit.
  • FIG. 22 shows a connection form for exchanging between the source device in the accessibility mode and the sink device in the normal mode, conversion processing is required as in the case of the connection form shown in FIG.
  • the source device when the source device operates video and audio transmitted to the sink device by the source device, the source device transmits normal content data.
  • the sink device when receiving the content data from the source device, the sink device appropriately displays the optimum.
  • the sink device when the sink device operates video and audio transmitted from the source device, the sink device transmits the operation information to the source device as it is.
  • the source device transmits the content data and the metadata for accessibility mode to the sink device, and from the sink device, the operation information of the sink device is made to the operation information corresponding to the viewing security. It performs conversion according to the converted operation information.
  • the sink device when the sink device operates video and audio transmitted from the source device, the sink device converts the operation information into operation information corresponding to the viewing security and then transmits the operation information to the source device.
  • Operation information corresponding to access security is a function equivalent to that of the conventional UIBC, but the data type of UIBC includes audio, video and text information by considering access security (meta for operation Data).
  • the source device sends the content data and the metadata for accessibility mode to the sink device separately from the sink device, and the sink device controls the operation information of the sink device from the sink device for the accessibility mode of the sink device It receives as information and performs the operation according to the received operation information.
  • the source device needs to generate metadata for accessibility mode through pop-up display etc. when the sink device with which it communicates is in accessibility mode.
  • the operator of the source device may be notified.
  • the media type of the accessibility mode metadata to be transmitted to the sink device may be displayed by the pop-up display or the like, and the operator may be asked whether conversion of the metadata may be performed.
  • the sink device when the source device with which the other party is communicating is in the accessibility mode, the sink device notifies the operator of the sink device that it is necessary to reproduce the metadata for accessibility mode through a pop-up display or the like. You may
  • the media type of the metadata for accessibility mode transmitted from the source device side It is also assumed that the media playback function corresponding to is turned off. In such a case, the sink device displays the media type of the accessibility mode metadata sent from the source device, and asks the operator if media playback may be turned on. It is also good.
  • source device 410 is communicating to see if sink device 420 is compatible with the accessibility mode. Specifically, a method of checking whether the sink device 420 corresponds to the accessibility mode using the processing in Miracast will be described with reference to FIG. 7 (described above). According to this method, it is possible to confirm whether the accessibility mode selected from the auditory sense, visual sense, and physical function (operation difficulty) can be determined by the source device 410.
  • the sink device 420 sends back the accessibility capability set on the sink device 420 with GET_PARAMETER Response according to the RTSP GET_PARAMETER Request from the source device 410.
  • FIG. 9 shows an example of the reply content of this GET_PARAMETER Response.
  • the source device 410 selects and transmits metadata to be transmitted from the source device 410 to the sink device 420 based on the received accessibility capability (capability information).
  • the type of accessibility mode is converted to understand the operation method between the devices. It can be so. If the source device and sink device modes or accessibility mode types are different, convert the accessibility mode type in either the source device or sink device so that the operation methods can be understood between the devices. The modes may be matched.
  • Wfd-accessibility-capability is exchanged between the source device 410 and the sink device 420 by the M3 message (RTSP GET_PARAMETER).
  • the purpose of this exchange is for the source device 410 to confirm whether the sink device 420 incorporates the accessibility mode metadata function.
  • the source device 410 can set the accessibility in which the sink device 420 can set the mode in which the bit assignment of the accessibility support request in FIG. Judge as tea mode. Specifically, bit 0 indicates whether the sink device 420 is compatible with the accessibility mode. Bits [14: 1] enable each bit when bit 0 is “1” (accessibility mode On), and bits [4: 1] indicate the type of accessibility mode. If an operation not included in the corresponding method of bits [14: 5] is necessary for this bit area, it is possible to enable correspondence such as generation of all data for expected operation by indicating the type. , All decisions may be made with bits [14: 5] and bits [4: 1] may be omitted.
  • Wfd-accessibility-capability response information [14: 5] indicated by the sink device 420 in the message of S601 becomes 0000000101 on the premise that bit 0 is “1” (accessibility mode On)
  • 1 bit The eye (corresponding to “operable without visual acuity in the bit assignment shown in FIG. 9”) and the third bit (corresponding to “operable with low vision and deafness in the bit assignment shown in FIG. 9”) become “1” ing.
  • An operation example corresponding to FIG. 8 is shown as metadata for accessibility mode.
  • the source device 410 determines, for example, whether or not the following information can be generated as metadata for accessibility mode.
  • the source device 410 determines that either of the two accessibility mode metadata can be generated, the source device 410 sets the corresponding accessibility mode as Wfd-accessibility-setting. Let's do it.
  • the source device 410 and the sink device 420 support the accessibility mode at the time of connection. It can be confirmed by CapabilityNegociation, and communication processing for accessibility mode setting can be performed. Further, by setting the accessibility mode metadata circuit to Enable, an operation example of the sink device in each accessibility mode type is as described above with reference to FIG.
  • FIGS. 23 and 24 show, in the form of a flowchart, the operation procedure from the source device starting Capability Negotiation of the metadata channel for accessibility mode to the source device 200 starting image transmission with the sink device 300. There is.
  • control unit 240 of the source device 200 starts Capability Negotiation with the sink device 300 (step S802).
  • the control unit 240 determines whether to request the sink device 300 to operate in the accessibility mode (step S803).
  • the sink device 300 is not requested to operate in the accessibility mode (No in step S803), the source device 200 starts communication with the sink device 300 in the normal mode (step S804).
  • the source device 200 when requesting the sink device 300 to operate in the accessibility mode (Yes in step S 803), the source device 200 further confirms the type of accessibility mode that can be supported by the sink device 300 (step S S 805). If it is not necessary to confirm the type of accessibility mode or no type information is included (No in step S806), the mode with the highest priority among the accessibility modes is selected. The figure shows the case where the priority is high in the order of visual support, hearing impairment, and operation difficulty, and the mode of visual support is selected.
  • the source device 200 is the highest priority mode among the accessibility modes. Confirm the If the mode is not the highest priority mode, it is further checked whether it is another mode.
  • the figure shows the case where the priority is high in the order of visual support, hearing impairment, and operation difficulty.
  • the source device 200 sequentially determines whether the accessibility mode is visual support, auditory support, or body (operation difficulty) support based on the Capability information received from the sink device 300 (steps S807, S809, and S811).
  • the source device 200 When the accessibility mode is visual support (Yes in step S 807), the source device 200 provides audio synchronized with content media transmission (for example, processing for reading application content) or metadata as accessibility mode. A process of providing the selected icon name selected when the operator taps by voice is transmitted to the sink device (step S808).
  • the audio providing method may be provided as part of the audio of the content media for accessibility mode or may be inserted as audio for accessibility mode metadata.
  • the source device 200 provides subtitles synchronized with content media transmission as metadata for accessibility mode, and audio set by the operator
  • the notification is converted into an LED flash and transmitted to the sink device (step S810).
  • the subtitles and the LED flash may be provided as part of the metadata for the accessibility mode content media or as metadata for the accessibility mode.
  • the source device 200 converts the data of the gesture operation created independently to pointing that the sink device 300 can understand, and then sinks. A process of transmitting to the device 300 is performed (step S812).
  • Step S813 is a step which ends this operation flow.
  • the metadata is converted into accessibility mode metadata for the visually impaired, the hearing impaired, and the body (hard to operate), but it is not limited thereto.
  • the corresponding operation shown in FIG. 8 may be changed as metadata for accessibility mode.
  • the type of terminal mode or accessibility mode differs between the source device 200 and the sink device 300
  • the type of accessibility mode is converted in the source device 200 or the sink device 300, and the mode is set. You may match.
  • the source device 200 needs to generate metadata for accessibility mode through pop-up display etc. when the sink device 300 which is the communication partner is in accessibility mode. May be notified to the operator of the source device 200.
  • the media type of the accessibility mode metadata to be transmitted to the sink device may be displayed by the pop-up display or the like, and the operator may be asked whether conversion of the metadata may be performed.
  • the sink device 300 when the source device 200 that is the other party in communication is in the accessibility mode, the sink device 300 requires the operator of the sink device 300 that the metadata for accessibility mode needs to be reproduced through pop-up display or the like. You may make it notify.
  • the media playback function corresponding to the media type of the metadata for accessibility mode transmitted from the source device 200 side is It is also assumed that it is off. In such a case, the sink device 300 displays the media type of the accessibility mode metadata sent from the source device 300 to confirm with the operator whether media playback may be turned on. You may
  • the wireless communication unit 220 of the information processing apparatus (source device) 200 performs real-time image transmission with the sink device 300 according to the Wi-Fi CERTIFIED Miracast specification. Further, the control unit 240 causes the display unit (not shown in FIG. 2) to display an image based on the image information transmitted from the source device 200, and the metadata for accessibility mode regarding the image is exchanged with the sink device 300. Control at the port used for multiple communication methods (UIBC, WebSocket) for exchange. In this case, for example, when setting a port on a TCP session generated with the sink device 300, the control unit 240 specifies information for specifying a plurality of communication methods using the port (for example, as shown in FIG. Each information described later) is transmitted to the sink device.
  • UIBC User Application Binary Security
  • control unit 240 can set a plurality of ports for each of a plurality of communication methods as ports used for a plurality of communication methods. In this case, the control unit 240 can set a plurality of ports in response to a request from the source device.
  • control unit 240 can set one port for a plurality of communication methods as a port used for a plurality of communication methods.
  • control unit 240 of the information processing device 200 transmits, to the sink device 300, image information for displaying an image on the display unit on the sink device 300 side.
  • control unit 240 can perform control to set ports used in a plurality of communication methods for exchanging control information regarding the image with the sink device 300.
  • the sink device 300 may switch the control channel of the UIBC to the requested source device 200 during connection in order to transmit information related to the display position of the sink device 300 based on the request from the source device 200. it can.
  • the source device 200 can switch the control channel of the UIBC to the sink device 300 that has made a request during connection, in order to transmit display position information of the source device 200 by an operation from the sink device 300.
  • the communication system 1900 it is possible to transmit and receive image data, audio data, and text data by using a WebSocket control circuit as the accessibility mode metadata circuit.
  • a WebSocket control circuit as the accessibility mode metadata circuit.
  • FIG. 15A communication processing of image data and audio data using the WebSocket between the source device 410 and the sink device 420 can be performed.
  • exchange is performed between the source device 410 and the sink device 420 using the WebSocket frame format (described above) shown in FIGS. 15B and 15C.
  • image data and audio data can be transmitted using the WebSocket standard format. Therefore, pre-authentication can be performed with image data and audio data. In addition, it can cope with various other use cases (same as above).
  • image data and audio data can be exchanged between the source device and the sink device by using WebSocket while image transmission of the Wi-Fi CERTIFIED Miracast standard is performed.
  • WebSocket may be used to exchange operation metadata.
  • control unit 370 of the information processing apparatus 300 as a sink device can acquire the image information and the audio information transmitted from the source device using the WebSocket.
  • control unit 370 can cause the display unit 351 to display an image based on the image information and cause the audio output unit 352 to output an audio based on the audio information.
  • the operation for the accessibility mode of the source device can be accepted by the sink device. That is, in an environment where images, sounds, texts, and auxiliary information for operation from the source device are displayed on the display unit or the speaker of the sink device, stable operation can be performed and connection control with real-time operation is performed. be able to.
  • the display position can be controlled by the metadata for accessibility mode from the source device.
  • the accessibility mode type is determined by the Capability Negotiation between the source device and the sink device, but any other method may be used.
  • Device Discovery or Service Discovery may be used.
  • As a control method of Device Discovery or Service Discovery one or more of the following (C1) to (C4) are exchanged.
  • C1 P2P IE Information Element
  • C2 WFD IE Information Element
  • C3 ASP Application Service Platform
  • C4 Protocol in UPnP Universal Plug and Play
  • the information processing device 710 transmits a probe request, and searches for a P2P connectable information processing device 720 (sink device).
  • a P2P connectable information processing device 720 for example, in the case where the information processing device 720 (sink device) is a device capable of P2P connection, it is possible to detect a frequency channel used in P2P connection by receiving the probe response.
  • the information processing device 720 (sink device) is a device capable of P2P connection, and it will be described on the premise that the probe response can be received.
  • the information processing device 710 grasps the frequency channel for P2P connection with the information processing device 720 (sink device), and establishes a P2P connection. Then, after establishing the P2P connection, the information processing device 710 (source device) further establishes a link between the information processing device 720 (sink device) and the TCP connection or RTSP connection, and then (C1) to (C1) Perform one or more exchanges of C4).
  • FIGS. 26 to 30 show format examples using the WFD IE of (C2) described above.
  • FIGS. 26 to 28 show formats already assigned in Miracast Release 1.
  • FIG. new bits are assigned to Subelement ID (11) shown in FIG. Specifically, the new Field corresponding to this Subelement ID (11) is shown in FIG. 29 and FIG.
  • [5: 0] of the New Device Information field is information for the information processing device 720 (sink device) to determine an optimal frequency channel in P2P connection.
  • the information processing device 710 grasps the respective information to obtain information with the information processing device 720 (the sink device).
  • the optimal frequency channel can be determined. For example, frequency information associated (associated with [23:14] shown in FIG. 30) between the access point 701 (not shown) and the information processing device 720 (sink device) can be used. Further, for example, concurrent information (field of [5: 2] shown in FIG. 30) of the wireless channel of the information processing device 720 (sink device) can be used.
  • This concurrent information is, for example, information indicating whether or not a connection form such as time division connection of the same frequency channel, time division connection of different frequency channels, simultaneous connection of the same frequency channels, simultaneous connection of different frequency channels, etc. is possible. (Field of [5: 2] shown in FIG. 30). Also, for example, it is possible to use a terminal capability (a field of [13: 8] shown in FIG. 21) as a wireless function.
  • the access point 701 is outside and the information processing device 710 (source device) communicates with the information processing device 720 (sink device) via the access point 701.
  • the access point 701 and the information processing device 720 (sink device) may be connected by wire or connector like Ethernet (registered trademark) cable or USB cable / connector.
  • the information processing device 720 (sink device) has a wired connection with the access point 701 ([1: 0] shown in FIG. 30) and a wireless for P2P connection.
  • the information processing apparatus 710 (source device) is notified of whether or not the As a result, the information processing device 710 (source device) can determine the optimal frequency channel.
  • the information processing device 720 when the information processing device 720 (sink device) supports only a wired line, the information processing device 720 directly connects to the access point 701 without shifting to P2P connection.
  • the information processing device 720 when the information processing device 720 (sink device) also supports a wireless channel, it is possible to select and connect one of the supported frequency channels.
  • service capability information can be exchanged between devices via an ASP compliant message.
  • the information contained in the WFD IE is divided into 4-bit units and converted into a hexadecimal number to transmit and receive a text string.
  • the information contained in the WFD IE is not limited to the current specifications.
  • ServiceCapability information shown in FIG. 31 may be included in the payload in the ASP message.
  • negotiation of associated frequency information and concurrent information of devices may be performed as part of Device Discovery or Service Discovery processing. Also, negotiation of associated frequency information and concurrent information of the device may be re-negotiated when a frequency channel change is required during transmission. Furthermore, at the start of the negotiation, the information processing apparatus 710 (source device) and the information processing apparatus 720 (sink device) negotiate which of the above-described (C1) to (C4) can be exchanged. You may select whether to exchange information.
  • the information processing apparatus 710 performs the above (C1) to (C4) after further establishing a TCP connection or RTSP connection of the P2P connection link after receiving the probe response.
  • An example is shown.
  • the WFD is transmitted using the TCP connection or RTSP connection to which the information processing device 710 (source device) and the information processing device 720 (sink device) are connected via the access point 701.
  • the probe request including the IE may be exchanged with the probe response.
  • the information processing apparatus 710 (source device) takes the lead is shown, but the information processing apparatus 720 (sink device) may take the lead.
  • the frequency for P2P connection is described in the above-mentioned Probe Request, and the frequency channel to which the probe response from the information processing device 720 (sink device) is returned is used by the probe request. It does not have to be a frequency channel. Also, reception may be performed via a P2P connection.
  • the source device manages the modes of a plurality of sink devices, and in some cases, makes a request to match, metadata for accessibility mode Transmission can be performed effectively.
  • the source device performs management of the modes of the plurality of sink devices to allow each terminal to manage and communicate with its own mode. It can be done to the minimum.
  • bandwidth control can be performed using multicast packets or unicast packets.
  • the source device can minimize data conversion of the sink device in a multi-sink topology environment.
  • a mode selection UI capable of operating the source device from the sink device can be provided to perform remote operation.
  • the sink device can perform Capability Negotiation management to match the mode of multiple source devices.
  • the technology disclosed in the present specification can be applied to various types of communication systems in which image transmission is performed by wirelessly connecting information processing apparatuses operating as a source device and a sink device by P2P direct communication. .
  • the operation metadata for appropriate accessibility mode can be selected without being influenced by the content media that performs image transmission. It becomes possible to transmit.
  • the band can be efficiently used by turning off the media which does not require transmission.
  • a wireless communication unit that performs wireless communication as a source device with a plurality of sink devices;
  • a control unit that controls connection with the sink device and transmission of content data to the sink device; Equipped with Each of the plurality of sink devices is operable in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit manages types of accessibility modes of the plurality of sink devices.
  • Information processing device (2) The control unit arbitrates accessibility modes of the plurality of sink devices, and then starts transmission of content data.
  • the information processing apparatus manages the modes of a plurality of sink devices in a multi-sink topology environment, and makes a request for matching in some cases, thereby achieving the accessibility mode meta Data can be transmitted effectively.
  • the control unit causes the sink device to be switched to the accessibility mode to display a pop-up to confirm whether there is a problem with the operator.
  • the information processing apparatus according to (2). According to the information processing apparatus described in (3) above, the operator can understand the operation change by performing the mode change confirmation to the operator in advance when the mode is changed, and the user can minimize the operation difference accompanying the mode change. It can be grasped.
  • the control unit recognizes that it is connected to the sink device in the accessibility mode, and based on the result of ORing the accessibility mode types to be connected, the meta for the necessary accessibility mode. Send data, The information processing apparatus according to the above (1).
  • arbitration of modes of a plurality of sink devices is performed, and each terminal manages and exchanges with the mode of its own terminal to a minimum.
  • Can. The control unit causes the metadata for accessibility mode to be transmitted as either a multicast packet or a unicast packet, The information processing apparatus according to (4).
  • the control unit groups the plurality of sink devices according to the same accessibility mode type, and transmits accessibility mode metadata corresponding to each group.
  • the information processing apparatus According to the information processing apparatus described in (6), data conversion of the sink device can be minimized. (7)
  • the control unit transmits accessibility mode metadata in either a multicast packet or a unicast packet.
  • Information processing device is a wireless communication unit that performs wireless communication as a sink device with the source device; A control unit that controls connection with the source device and transmission of content data from the source device; Equipped with The control unit extracts and reproduces only reproducible metadata from the plurality of accessibility mode metadata received from the source device.
  • a wireless communication unit which performs wireless communication as a source device to the same sink device as another source device
  • a control unit that controls connection with the sink device and transmission of content data to the sink device; Equipped with The sink device can operate in either the normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit causes the sink device to be notified of connection in the accessibility mode.
  • Information processing device According to the information processing apparatus described in (9), even if the operator who operates the sink device is a person with a disability, it is possible to provide a UI that can operate the source device from the sink device.
  • a wireless communication unit that performs wireless communication as a sink device with a plurality of source devices;
  • a control unit that controls connection with the source device and transmission of content data from the source device;
  • a user interface unit that selects between accessibility and normal operations;
  • a wireless communication unit that performs wireless communication as a sink device with a plurality of source devices;
  • a control unit that controls connection with the source device and transmission of content data from the source device; Equipped with Each of the plurality of source devices can operate in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit causes UIBC data to be transmitted to the plurality of source devices.
  • Information processing device (12)
  • the control unit causes the UIBC data to be converted after being converted so as to match the mode for each source device, and then transmitted.
  • (13) The control unit causes UIBC data to be transmitted regardless of the mode of the source device.
  • the control unit causes the UIBC data to be transmitted after switching to a common mode in which all the devices can switch.
  • the information processing apparatus according to (11). According to the information processing apparatus described in (11) to (14), even in connection with source devices having different operation methods, conversion processing for each source device is performed from the common operation from the sink device, and remote operation is performed. It can be done.
  • a wireless communication unit which performs wireless communication as a source device with respect to the same sink device together with other source devices; A control unit that controls connection with the sink device and transmission of content data to the sink device; Equipped with The sink device can operate in either the normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit When the operator changes the mode of the sink device while connected, the control unit transmits a mode exchange message signal for changing the normal mode and the accessibility mode in the middle of transmission.
  • Information processing device According to the information processing apparatus described in (15), even in the environment changed by the operator, efficient operation can be performed without returning to the initial operation.
  • a wireless communication unit that performs wireless communication as a sink device with a plurality of source devices;
  • a control unit that controls connection with the source device and transmission of content data from the source device; Equipped with Each of the plurality of source devices can operate in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit requests each source device to match the accessibility mode of the plurality of source devices.
  • the sink device can perform the Capability Negotiation management so that the modes of the plurality of source devices match.
  • a wireless communication unit that performs wireless communication as a sink device with a plurality of source devices;
  • a control unit that controls connection with the source device and transmission of content data from the source device; Equipped with Each of the plurality of source devices can operate in either a normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • the control unit recognizes connection with the source device in the accessibility mode, and transmits the result to the source device based on the result of ORing the types of accessibility modes to be connected from now on. Information processing device.
  • the sink device in the multi-source, can perform the Capability Negotiation management so that the modes of the plurality of source devices match.
  • managing the type of accessibility mode of the plurality of sink devices Wireless communication method.
  • UIBC data is transmitted to the plurality of source devices.
  • Wireless communication method (20) a wireless communication step of performing wireless communication as a source device with respect to the same sink device with another source device; A control step of controlling connection with the sink device and transmission of content data to the sink device; Have The sink device can operate in either the normal mode or one or more types of accessibility modes that ensure browsing in response to operator disability or reduced function.
  • a mode / exchange message signal for changing the normal mode and the accessibility mode midway is transmitted during transmission.
  • Wireless communication method. (21) Wirelessly communicate as a source device with a sink device that can operate in either the normal mode or one or more types of accessibility modes that guarantee browsing in response to the operator's physical disability or functional decline Communication department, A content transmission unit that transmits content data to the sink device via the wireless communication unit; A metadata transmitting unit that transmits metadata operable by an operator of the sink device to the sink device operating in an accessibility mode via the wireless communication unit; An information processing apparatus equipped with (22) The metadata transmission unit transmits metadata using a channel for metadata transmission, The information processing apparatus according to (21).
  • a metadata conversion unit that converts metadata according to the accessibility mode type supported by the sink device.
  • the information processing apparatus according to any one of the above (23) or (24).
  • the information processing apparatus further includes a notification unit that notifies the operator of the information processing apparatus that the sink device needs to generate metadata when the sink device is in the accessibility mode.
  • the notification unit displays a media type of metadata to be transmitted to the sink device, and prompts the operator to confirm whether the metadata may be converted.
  • the information processing apparatus further includes a notification unit that notifies the operator of the information processing apparatus that the source device needs to reproduce metadata when the source device is in the accessibility mode.
  • the information processing apparatus according to any one of (30) or (31).
  • the apparatus further comprises a mode control unit that causes the mode to match the source device when the type of the source device and the accessibility mode are different.
  • the information processing apparatus according to any one of (30) to (32).
  • a playback confirmation unit is further provided that displays the media type of the metadata received from the source device and confirms with the operator whether media playback that is currently off may be turned on.
  • the information processing apparatus according to any one of (30) to (33).
  • the mode / exchange message signal for changing the normal mode and the accessibility mode in the middle is received while transmitting the content from the source device Further comprising a message receiving unit
  • the information processing apparatus according to any one of (30) to (35).
  • (36) Wirelessly connect as a source device wirelessly to a sink device that can operate in either the normal mode or one or more types of accessibility modes that guarantee browsing in response to the operator's physical disability or deterioration of functions Connection step, A content transmission step of transmitting content data to the sink device; A metadata transmission step of transmitting metadata operable by the operator of the sink device to the sink device operating in the accessibility mode; Wireless communication method.
  • a wireless connection as a sink device wirelessly with a source device operable in any of the normal mode and one or more types of accessibility modes that guarantee browsing in response to the operator's physical disability or deterioration of functions Connection step A content receiving step of receiving content data transmitted from the source device; A mode confirmation step of confirming an operation mode with the source device; A metadata receiving step of receiving metadata operable by an operator operating in an accessibility mode from the source device; Wireless communication method.
  • DESCRIPTION OF SYMBOLS 100 ... Communication system, 101 ... Information transmission range 200 ... Information processing apparatus, 210 ... Antenna 220 ... Wireless communication part, 230 ... Control signal receiving part 240 ... Control part, 250 ... Image / audio signal production part 260 ... Image / audio compression Unit 270 270 Stream transmission unit 300 Information processing apparatus 310 Antenna 320 Wireless communication unit 330 Stream reception unit 340 Image / voice expansion unit 350 Image / voice output unit 351 Display unit 352 Voice Output unit 360 User information acquisition unit 370 Control unit 380 Control signal transmission unit 390 Management information holding unit 1100 Communication system 1200, 1300, 1400 Information processing device 1351 Display unit 1361 Imaging unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 操作者の身体の障がい又は機能の低下に対応した閲覧を保証するアクセシビリティー・モードで動作可能な情報処理装置を提供する。 ソース機器は各シンク機器を接続時にアクセシビリティー・モードかどうかを確認し、アクセシビリティー・モードのシンク機器に対して、本来の画像・音声データの伝送の際に、障がいをサポートするメタデータ(例えば、音声、映像、テキスト、バイブレーション情報など)を加えるかどうかを判断する。ソース機器は、各々のシンク機器のアクセシビリティー・モードがオン又はオフかによって、メタデータの伝送方法を変更する。

Description

情報処理装置
 本明細書で開示する技術は、操作者の身体の障がい又は機能の低下に対応した閲覧を保証するアクセシビリティー・モードで動作可能な情報処理装置、並びに、アクセシビリティー・モードで相手端末とデータを送受信する情報処理装置に関する。
 障がい者や高齢者など、視力や聴力などが制限され、あるいは目と手の協調や手指が器用でない操作者による操作性を考慮した情報処理装置について検討がなされている。例えば、スマートフォンやタブレット端末などの情報機器で、健常者向けと障がい者向けのユーザー・インターフェースを選択できる機種が存在している(例えば、特許文献1を参照のこと)。
 しかしながら、スマートフォンやタブレット端末、ノートブックPCといった情報機器からの映像を伝送するさまざまな通信方式では、健常者向けの表示や操作のみの伝送方法が規定され、障がい者のアクセシビリティーが考慮されていないのが現状である。最近では、無線ネットワーク通信やP2P(Peer to Peer)ダイレクト通信において、複数の端末がグループ化して無線映像伝送を行なうユースケースが増えてきているが(例えば、特許文献2を参照のこと)、障がい者向けの操作に対応したプロトコルが存在しないのが現状である。
 一方、送信機器と受信機器とのやりとりに関し、伝送可能な通信方式を決めたとしても、複数端末がグループ化し、共通のサービスを実現する場合に、マルチシンク・トポロジー又はマルチソース・トポロジー環境において、新たな課題が発生する。
 例えば、マルチシンク・トポロジー環境での接続形態を考える場合、コンテンツ・データを持つ送信装置はすべてのシンク機器との接続を行ない、最適なデータを受信装置に伝送することが望ましい。しかし、健常者と障がい者が混在する環境において、どのようにして、ソース機器とシンク機器が接続制御し、混在環境での整合性を確保するかという新たな課題がある。
 さらに、マルチソース・トポロジー環境での接続形態を考える場合、シンク機器が1台のプラットフォームであるため、各ソース機器からの受信データは同一フォーマットであることが望ましいが、伝送前に設定値を確認する必要がある。シンク機器にとって効果的な管理方法を提供する必要がある。
 また、ユーザー・インターフェースは健常者向けと障がい者向けでは全く異なっているが、P2P(Peer to Peer)で接続する端末が健常者向けのモード(以下、「通常モード」とする)と障がい者向けのモード(以下、「アクセシビリティー・モード」とする)が接続する場合、本出願時点では十分な考慮がなされていない。
 また、従来の無線映像伝送規格(例えば、Miracast)での通信において、コンテンツ・メディア用伝送回線を使用してアクセシビリティー・モード用データを伝送しようとすると、制御方法が独自になり、端末間の互換性がない。例えば、視覚障がい者のサポートにおいて、視覚サポートを行ないながら無線映像伝送を行なうケースを考える。送信機器又は受信機器は、コンテンツ・メディアが映像の場合、例えば、音声又は触覚による情報提供方法へ変換する必要がある。さらに、コンテンツ・メディアに音声がある場合には、操作用音声データが必要な場合もある。しかし、本出願時点では独自実装による実現方法となってしまい、上記アクセシビリティーの種別を考慮した伝送を行なうことができない。送信機器と受信機器でやりとり可能な伝送制御が必要となる。
 加えて、障がいの種別が同じであっても、操作者が持つ障がいの度合いなどに応じて、障がいをサポートする対応方法が異なる。例えば、視覚障がい者が、例えば「視力なしで操作可能」、「色弱、色盲で操作可能」、「弱視かつ難聴で操作可能」というように、視覚サポートにも対応方法がさまざまである。
特開2012-226754号公報 米国特許出願公開20130139210号明細書
 本明細書で開示する技術の目的は、通常モードとアクセシビリティー・モードの端末が混在するトポロジー環境において、アクセシビリティー・モードで好適に動作することができる、優れた情報処理装置を提供することにある。
 本明細書で開示する技術のさらなる目的は、アクセシビリティー・モードで相手端末と好適にデータを送受信することができる、優れた情報処理装置を提供することにある。
 本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、
 複数のシンク機器との間でソース機器として無線通信する無線通信部と、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のシンク機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、前記複数のシンク機器のアクセシビリティー・モードの種別を管理する、
情報処理装置である。
 本明細書で開示する技術の第2の側面によれば、第1の側面に係る情報処理装置の前記制御部は、前記複数のシンク機器のアクセシビリティー・モードの調停を行なってから、コンテンツ・データの伝送を開始させように構成されている。
 本明細書で開示する技術の第3の側面によれば、第2の側面に係る情報処理装置の前記制御部は、アクセシビリティー・モードへ変更するシンク機器に対し、操作者へ変更が問題ないかを確認するポップアップを表示させるように構成されている。
 本明細書で開示する技術の第4の側面によれば、第1の側面に係る情報処理装置の前記制御部は、アクセシビリティー・モードのシンク機器と接続することを把握し、これから接続するアクセシビリティー・モード種別の論理和をとった結果に基づいて、必要なアクセシビリティー・モード用メタデータを送信させるように構成されている。
 本明細書で開示する技術の第5の側面によれば、第4の側面に係る情報処理装置の前記制御部は、アクセシビリティー・モード用メタデータをマルチキャスト・パケット又はユニキャスト・パケットのうちいずれかで送信させるように構成されている。
 本明細書で開示する技術の第6の側面によれば、第1の側面に係る情報処理装置の前記制御部は、前記複数のシンク機器を同じアクセシビリティー・モード種別毎にグループ化して、グループ毎に対応したアクセシビリティー・モード用メタデータを送信させるように構成されている。
 本明細書で開示する技術の第7の側面によれば、第6の側面に係る情報処理装置の前記制御部は、アクセシビリティー・モード用メタデータをマルチキャスト・パケット又はユニキャスト・パケットのうちいずれかで送信させるように構成されている。
 また、本明細書で開示する技術の第8の側面は、
 ソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記制御部は、前記ソース機器から受信した複数のアクセシビリティー・モード用メタデータのうち再生可能なメタデータのみを抽出して再生処理する、
情報処理装置である。
 また、本明細書で開示する技術の第9の側面は、
 他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信部と、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、アクセシビリティー・モードで接続することを前記シンク機器に通知させる、
情報処理装置である。
 また、本明細書で開示する技術の第10の側面は、
 複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
 アクセシビリティー向けの操作と通常向けの操作のいずれかを選択するユーザー・インターフェース部と、
を具備する情報処理装置である。
 また、本明細書で開示する技術の第11の側面は、
 複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、前記複数のソース機器へUIBCデータを送信させる、
情報処理装置である。
 本明細書で開示する技術の第12の側面によれば、第11の側面に係る情報処理装置の前記制御部は、ソース機器毎のモードに合うようにUIBCデータを変換した後に送信させるように構成されている。
 本明細書で開示する技術の第13の側面によれば、第11の側面に係る情報処理装置の前記制御部は、ソース機器のモードに拘わらずUIBCデータを送信させるように構成されている。
 本明細書で開示する技術の第14の側面によれば、第11の側面に係る情報処理装置の前記制御部は、すべての機器が切り替え可能な共通のモードに切り替えた後にUIBCデータを送信させるように構成されている。
 また、本明細書で開示する技術の第15の側面は、
 他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信部と、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、操作者が接続中にシンク機器のモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を伝送途中で送信させる、
情報処理装置である。
 また、本明細書で開示する技術の第16の側面は、
 複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、前記複数のソース機器のアクセシビリティー・モードを一致するよう、各ソース機器へ要求させる、
情報処理装置である。
 また、本明細書で開示する技術の第17の側面は、
 通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線通信する無線通信部と、
 コンテンツ・データを前記シンク機器に前記無線通信部を介して送信するコンテンツ送信部と、
 アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを、前記無線通信部を介して送信するメタデータ送信部と、
を具備する情報処理装置である。
 本明細書で開示する技術の第18の側面によれば、第17の側面に係る情報処理装置の前記メタデータ送信部は、メタデータ送信用のチャネルを用いてメタデータの送信を行なうように構成されている。
 また、本明細書で開示する技術の第19の側面は、
 通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線通信する無線通信部と、
 コンテンツ・データを前記シンク機器に前記無線通信部を介して送信するコンテンツ送信部と、
 前記シンク機器の動作モードを、前記無線通信部を介して確認するモード確認部と、
 アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを、前記無線通信部を介して送信するメタデータ送信部と、
を具備する情報処理装置である。
 本明細書で開示する技術の第20の側面によれば、第19の側面に係る情報処理装置の前記モード確認部は、MiracastプロトコルにおけるCapability Negotiation、Device Discovery、又は、Service Discoveryのうちいずれか1つ以上の処理を用いて前記シンク機器が対応しているアクセシビリティー・モード種別を確認するように構成されている。
 本明細書で開示する技術の第21の側面によれば、第19又は第20のいずれかの側面に係る情報処理装置は、前記シンク機器がサポートするアクセシビリティー・モード種別に応じてメタデータを変換するメタデータ変換部をさらに備えている。
 本明細書で開示する技術の第22の側面によれば、第19乃至第21のいずれかの側面に係る情報処理装置は、前記シンク機器がアクセシビリティー・モードの場合に、メタデータを生成する必要があることを前記情報処理装置の操作者に通知する通知部をさらに備えている。
 本明細書で開示する技術の第23の側面によれば、第22の側面に係る情報処理装置の前記通知部は、前記シンク機器へ送信するメタデータのメディア種別を表示し、メタデータを変換してもよいかどうかを操作者に確認を促すように構成されている。
 本明細書で開示する技術の第24の側面によれば、第19乃至第23のいずれかの側面に係る情報処理装置は、前記シンク機器とアクセシビリティー・モードの種別が異なる場合に前記シンク機器とモードを一致させるモード制御部をさらに備えている。
 本明細書で開示する技術の第25の側面によれば、第19乃至第24のいずれかの側面に係る情報処理装置は、操作者が前記シンク機器と接続中にモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を前記コンテンツ送信部によるコンテンツの伝送途中で送信させるメッセージ送信部をさらに備えている。
 本明細書で開示する技術によれば、通常モードとアクセシビリティー・モードの端末が混在するトポロジー環境において、アクセシビリティー・モードで好適に動作することができる、優れた情報処理装置を提供することができる。
 また、本明細書で開示する技術によれば、アクセシビリティー・モードで相手端末と好適にデータを送受信することができる、優れた情報処理装置を提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術の第1の実施形態に係る通信システム100の構成例を模式的に示した図である。 図2は、ソース機器として動作する情報処理装置200の機能的構成例を模式的に示した図である。 図3は、シンク機器として動作する情報処理装置300の機能的構成例を模式的に示した図である。 図4は、第1の実施形態におけるソース機器410とシンク機器420間の接続シーケンス例を示した図である。 図5Aは、ソース機器とシンク機器がともにアクセシビリティー・モードでやりとりする接続形態を例示した図である。 図5Bは、通常モードのソース機器とアクセシビリティー・モードのシンク機器がやりとりする接続形態を例示した図である。 図6は、図5Aに示したトポロジー環境におけるソース機器と各シンク機器間の接続シーケンス例を示した図である。 図7は、第1の実施形態におけるソース機器410とシンク機器420間の接続シーケンス例(Miracastでの処理を用いた例)を示した図である。 図8は、障がいの種別と対応要求、及び各々の対応例を示した図である。 図9は、アクセシビリティー対応要求のビット・アサインを示した図である。 図10Aは、ソース機器とシンク機器間でCapability Negotiation通信処理を行なうシーケンス例(ソース機器からアクセシビリティー機能要求する通信例)を示した図である。 図10Bは、ソース機器とシンク機器間でCapability Negotiation通信処理を行なうシーケンス例(ソース機器から接続Enable要求する通信例)を示した図である。 図11Aは、ソース機器とシンク機器間でCapability Negotiation通信処理を行なうシーケンス例(シンク機器からアクセシビリティー機能要求する通信例)を示した図である。 図11Bは、ソース機器とシンク機器間でCapability Negotiation通信処理を行なうシーケンス例(シンク機器から接続Enable要求する通信例)を示した図である。 図12は、各アクセシビリティー・モード種別におけるシンク機器の動作例を示した図である。 図13Aは、ソース機器が複数のシンク機器用アクセシビリティー・モード種別の中から共通するアクセシビリティー・モードを選択するための処理手順を示したフローチャートである。 図13Bは、ソース機器が複数のシンク機器用アクセシビリティー・モード種別の中から共通するアクセシビリティー・モードを選択するための処理手順を示したフローチャートである。 図14Aは、アクセシビリティー・モード及び通常モードのソース機器がともに1台のアクセシビリティー・モードのシンク機器とやりとりする接続形態を例示した図である。 図14Bは、通常モード及びアクセシビリティー・モードのソース機器がともに1台の通常モードのシンク機器とやりとりする接続形態を例示した図である。 図15Aは、ソース機器410とシンク機器420間のWebSocketを用いた画像データ及び音声データの通信処理例を示した図である。 図15Bは、ソース機器410とシンク機器420間でやりとりされるWebSocketのフレーム・フォーマット例を示した図である。 図15Cは、ソース機器410とシンク機器420間でやりとりされるWebSocketのフレーム・フォーマット例を示した図である。 図16は、本明細書で開示する技術の第2の実施形態に係る通信システム1100の構成例を模式的に示した図である。 図17は、アクセシビリティー操作とデフォルト操作を指定するボタンを含んだ大画面ディスプレイを例示した図である。 図18は、P2Pダイレクト接続からマルチシンク・トポロジー環境を構築するまでの基本シーケンス例を示した図である。 図19は、本明細書で開示する技術の1つの実施形態に係る通信システムの構成例を模式的に示した図である。 図20は、アクセシビリティー・モードのソース機器とアクセシビリティー・モードのシンク機器の間でやりとりする接続形態を示した図である。 図21は、通常モードのソース機器とアクセシビリティー・モードのシンク機器の間でやりとりする接続形態を示した図である。 図22は、アクセシビリティー・モードのソース機器と通常モードのシンク機器の間でやりとりする接続形態を示した図である。 図23は、ソース機器がアクセシビリティー・モード用メタデータ回線のCapability Negotiationを開始し、ソース機器がシンク機器と映像伝送を開始するまでの動作手順を示したフローチャートである。 図24は、ソース機器がアクセシビリティー・モード用メタデータ回線のCapability Negotiationを開始し、ソース機器がシンク機器と映像伝送を開始するまでの動作手順を示したフローチャートである。 図25は、Device Discovery又はService Discoveryの制御方法の一例を示した図である。 図26は、WFD IEのフォーマット例を示した図である。 図27は、WFD Subelementの一般フォーマット例を示した図である。 図28は、WFD Subelement ID Definition例を示した図である。 図29は、New Device Subelement例を示した図である。 図30は、New Device Information Field例を示した図である。 図31は、ASPメッセージのペイロード例を示した図である。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
[第1の実施形態]
[通信システム構成]
 図1には、本明細書で開示する技術の第1の実施形態に係る通信システム100の構成例を模式的に示している。図示の通信システム100は、P2Pダイレクト通信を用いたマルチシンク・トポロジー環境の無線接続を行なうことを想定している。具体的には、通信システム100は、3台の情報処理装置200、300、400を含み、ソース機器としての1台の情報処理装置200から送信されるデータ(例えば、画像データや音声データ)を、他の2台の情報処理装置300、400がシンク機器として受信するようになっている。1台のソース機器に対して複数台のシンク機器が存在することから、図1に示す通信システム100は、マルチシンク・トポロジー環境ということができる。
 通信システム100を構成する各情報処理装置200、300、400は、無線通信機能を備える通信機器である。例えば、情報処理装置200、300、400は、無線通信機能を備える表示装置(例えば、パーソナル・コンピューター)や携帯型の情報処理装置(スマートフォンやタブレット端末など)である。また、情報処理装置200、300、400は、IEEE(Institute of Electrical and Electronics Engineers)802.11、IEEE802.15、IEEE802.16、3GPP(3rd Generation Partnership Project)仕様(例えば、W-CDMA(Wideband Code Division Multiple Access)、GSM(登録商標)(Global System for Mobile Communications)、WiMAX(Worldwide Interoperability for Microwave Access)、WiMAX2、LTE(Long Term Evolution)、LTE-A(Advanced)に準拠した無線通信装置である。そして、情報処理装置200、300、400はともに、これらのうちいずれかの無線通信機能を利用して、各種情報のやりとりを行なうことができる。
 ここで、シンク機器である情報処理装置300又は400は、ソース機器である情報処理装置200から送信されるデータを受信するという点で、同一の機能的構成を備えた機器である。また、情報処理装置200と情報処理装置400とのやりとりは、基本的には情報処理装置200と情報処理装置300とのやりとりと同等である。したがって、以下では、情報処理装置200と情報処理装置300との接続方法についてのみ第1の実施形態として説明し、情報処理装置200と情報処理装置400との接続方法については説明を省略する。なお、情報処理装置200と情報処理装置300間で無線LAN(Local Area Network)を用いた無線通信を行なう場合を例にとって説明する。
 この無線LANとして、例えば、Wi-Fi(Wireless Fidelity) Direct、TDLS(Tunneled Direct Link Setup)、アドホック・ネットワーク、メッシュ・ネットワークを用いることができる。また、通信システム100に用いられる近距離無線AV(Audio Visual)伝送通信として、例えば、Wi-Fi CERTIFIED Miracast(技術仕様書名:Wi-Fi Display)を用いることができる。なお、Wi-Fi CERTIFIED Miracastは、Wi-Fi DirectやTDLSの技術を利用して、一方の端末で再生される音声や表示画像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。
 また、Wi-Fi CERTIFIED Miracastでは、TCP/IP(Transmission Control Protocol/Internet Protocol)上でUIBC(User Input Back Channel)を実現している。UIBCは、一方の端末から他方の端末へマウスやキーボードなどの入力機器の操作情報を送信する技術である。なお、Wi-Fi CERTIFIED Miracastの代わりに、他のリモート・デスクトップ・ソフトウェア(例えば、VNC(Virtual Network Computing))を適用するようにしてもよい。
 ここで、Wi-Fi CERTIFIED Miracastでは、画像(映像)を、例えば、H.264を用いて圧縮・展開することが定められている。また、例えば、Wi-Fi CERTIFIED Miracastでは、H.264を送信側で調整することができる。なお、H.264に限らず、例えば、H.265(例えば、HEVC(high efficiency video coding)、SHVC(scalable video coding extensions of high efficiency video coding))、MPEG(Moving Picture Experts Group)4、JPEG(Joint 1Photographic Experts Group)2000にも対応することができる。また、例えば、1ライン以上を束ねて圧縮したり、2ライン以上を2×2以上のマクロブロックに分割して圧縮・展開を行なったりするラインベース・コーデック(例えば、Wavelet、DCT(Discrete Cosine Transform))にも対応することができる。また、例えば、特定の符号量領域(Picture又は複数ラインの束又はマクロブロックなど)の前符号量領域との差分を求めることでDCTやWaveletなどの圧縮を行なわずに伝送レートを減らすコーデックにも対応することができる。また、情報処理装置200と情報処理装置300間で、非圧縮で画像(映像)を送信・受信するようにしてもよい。
 第1の実施形態に係る通信システム100では、情報処理装置200から情報処理装置300への送信対象とするデータとして、例えば撮像動作により生成された画像データ及び音声データや、ハード・ディスクなどの記憶装置に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)などを想定している。データの送信元である情報処理装置200として、カメラを搭載した電子機器(例えば、パーソナル・コンピューター、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、データの送信先である情報処理装置300として、表示部を備える他の電子機器(例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置200がテザリング機能を備える場合には、無線又は有線ネットワークを介してISP(Internet Services Provider)に保存されたコンテンツを情報処理装置300への送信対象とするようにしてもよい。
 例えば、情報処理装置200の撮像動作により生成された画像データが情報処理装置300に送信され、情報処理装置300側では受信した画像データに基づく画像が表示部に表示される。
 また、図1では、無線通信を利用して情報処理装置200がP2Pダイレクト接続により直接通信することができる範囲すなわち情報伝達範囲を参照番号101で示している。この情報伝達範囲101は、情報処理装置300を基準とした場合における情報伝達範囲(サービス範囲)である。
 情報処理装置200と情報処理装置300間の動作について詳細に説明する前に、マルチシンク・トポロジーの構築方法について述べておく。
 図18には、P2Pダイレクト接続からマルチシンク・トポロジー環境を構築するまでの基本シーケンス例を示している。同図では、ソース機器である情報処理装置200がシンク機器である情報処理装置300とP2Pダイレクト通信で接続している環境において、情報処理装置400がグループ参入してくる動作例を示している。
 情報処理装置200は、GO(Group Owner)として、情報処理装置300のP2Pクライアント間と既に接続済である。このため、情報処理装置200から情報処理装置400にInvitation Request処理を行なう。あるいは、情報処理装置400から情報処理装置200にProvision Discovery処理を行なうようにしてもよい。Invitation Request処理を例に動作シーケンスを説明すると、情報処理装置400から情報処理装置200にInvitation Response処理を返信する。
 上記処理によって、情報処理装置200は、情報処理装置400を新たなP2Pクライアントとして接続する。そして、お互いにサービス・ディスカバリーを行なうことで、情報処理装置200をソース機器とし、情報処理装置300及び情報処理装置400をシンク機器として、マルチシンク・トポロジーを構築する。
 マルチシンク・トポロジーが構築された後、情報処理装置200から情報処理装置300又は情報処理装置400に送信されて表示されるコンテンツは、同じコンテンツ(画像)でもよく、異なるコンテンツ(画像)でもよい。例えば、情報処理装置300には、情報処理装置200に表示された画像をそのまま送信し、情報処理装置400には、情報処理装置200の記憶部に保存されているコンテンツを送信することもできる。
[ソース機器の構成]
 図2には、第1の実施形態に係る通信システム100においてソース機器として動作する情報処理装置200の機能的構成例を模式的に示している。
 情報処理装置200は、アンテナ210と、無線通信部220と、制御信号受信部230と、制御部240と、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270を備えている。以下、各部について説明する。
 無線通信部220は、制御部240の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置300などのシンク機器)との間で各情報(例えば、画像データ、音声データ、及び制御データ)の送受信を、アンテナ210を介して行なう。例えば、他の情報処理装置への画像データの送信処理が行なわれる場合、画像・音声信号生成部250により生成された画像データが画像・音声圧縮部260により圧縮され、この圧縮された画像データ(画像ストリーム)が無線通信部220を経由してアンテナ210から送信される。
 また、無線通信部220は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置300)との間で各情報の送受信を行なうことが可能であるものとする。第1の実施形態では、無線通信部220が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを同時又は選択した周波数のみを送受信可能な機能を備える例について説明する。このように、ソース機器が複数の周波数チャネルを送受信可能な機能を備える場合には、シンク機器(例えば、情報処理装置300)は、各ソース機器にどの周波数チャネルを使用させるかを制御することができる。
 制御信号受信部230は、無線通信部220により受信された各情報のうちから、他の情報処理装置(例えば、情報処理装置300)から送信された制御信号(例えば、情報処理装置300とのやりとりの情報)を取得する。そして、制御信号受信部230は、その取得された制御信号を制御部240に出力する。
 制御部240は、情報処理装置200から送信される各情報に関する制御を行なう。例えば、制御部240は、制御信号受信部230により受信された制御信号に基づいて、画像・音声信号生成部250及び画像・音声圧縮部260に対する制御を行なう。具体的には、制御部240は、送信対象となる画像データの解像度や音声のチャネル数を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行なう。すなわち、制御部240は、制御信号受信部230により受信された制御信号に基づいて、送信対象となるストリームの伝送制御を行なう。このストリームの伝送制御は、例えば、データ伝送速度制御、スケーラビリティ伝送レート制御である
 また、制御部240は、無線通信を利用してシンク機器(例えば、情報処理装置300)との間でデータの送受信が行なわれている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備え、その測定結果(電波伝搬測定情報)を無線通信部220からシンク機器に送信するようにしてもよい。
 ここで言う電波伝搬測定情報は、例えば、シンク機器との回線品質が、画像データ及び音声データの送受信を行なうことができる品質であるか否かを判断する際に用いられる情報である。また、電波伝搬測定情報は、例えば、ストリームの伝送制御を行なう際に用いられる。
 また、ここで言うデータ伝送速度は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、解像度は、例えば、画像データの画枠(縦・横のピクセル数)、画像データのビットレート(圧縮率)などの要素から構成される画質の指標と定義する。また、画質の指標としては、ストリームのスループットを用いることができる。また、音声のチャネル数は、モノラル(1.0ch)、ステレオ(2.0ch)、5.1ch、6.1ch、 9.1ch、ハイレゾリューション・オーディオ(High-Resolution Audio)などの音声の記録再生方法の意味を含むものとする。また、音声のチャネル数は、音声データのビットレート(圧縮率)やチャネル数などの要素から構成される音質の指標と定義する。また、音質の指標としては、ストリームのスループットを用いることができる。
 また、制御部240は、データ伝送速度制御では安定化することができない状態を改善させるための制御を行なう。例えば、制御部240は、シンク機器(例えば、情報処理装置300)との情報のやりとりにより、シンク機器のシステム性能情報を把握する。ここで言うシステム性能情報は、例えば、シンク機器のシステムに関する性能情報である。例えば、システム性能情報は、使用可能な周波数チャネル、解像度、伝送制御プロトコル(TCP(Transmission Control Protocol)、UDP(User Datagram Protocol))である。また、システム性能情報は、例えば、暗号化方法の対応、SD(Standard Definition)/HD(High Definition)/4K対応、低消費電力モードの対応のそれぞれを示す情報である。例えば、制御部240は、シンク機器が低消費電力モードに対応しているか否かに応じて、通信システム100のシステム全体の安定度をさらに向上させるストリームの伝送制御方法を選ぶことができる。
 また、制御部240は、シンク機器との情報のやりとりの中に、情報処理装置200がモバイル機器であるかどうかの情報を入れるものとする。例えば、情報処理装置200に関するCapability情報に、情報処理装置200がモバイル機器であるかどうかの情報を含めることができる。情報処理装置300などのシンク機器側では、情報処理装置200がモバイル機器であることを把握すると、他に接続した情報処理装置との関連に基づいて、情報処理装置200を動作させる必要がないと判断することができる。このように、情報処理装置200を動作させる必要がないとシンク機器で判断された場合には、情報処理装置200は、シンク機器から送信停止コマンドを受信する。そして、制御部240は、その送信停止コマンドを把握すると、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とのそれぞれの機能の電源を一定時間ダウンさせることができる。また、制御部240は、無線通信部220についても間欠受信(シンク機器からコマンドを受信できる程度に定期的に起き上がり、他は電源をダウンさせるモード)に移行することができる。
 画像・音声信号生成部250は、制御部240の制御に基づいて、出力対象となるデータ(画像データ、音声データ)を生成し、生成されたデータを画像・音声圧縮部260に出力する。例えば、画像・音声信号生成部250は、撮像部及び音声取得部(いずれも図示しない)を備えている。この撮像部(例えば、レンズ、撮像素子、信号処理回路)は、被写体を撮像して画像(画像データ)を生成する。また、音声取得部(例えば、マイク)は、撮像部による画像データの生成時における周囲の音声を取得する。画像・音声信号生成部250で生成されたデータは、他の情報処理装置(例えば、情報処理装置300などのシンク機器)への送信対象となる。
 画像・音声圧縮部260は、制御部240の制御に基づいて、画像・音声信号生成部250により生成されたデータ(画像データ及び音声データ)を圧縮(エンコード)する。そして、画像・音声圧縮部260は、その圧縮されたデータ(画像データおよび音声データ)をストリーム送信部270に出力する。なお、画像・音声圧縮部260は、ソフトウェアによるエンコードの実行により実現するようにしてもよく、ハードウエアによるエンコードの実行により実現するようにしてもよい。また、画像・音声圧縮部260は、コーデックとして機能することを想定しているが、非圧縮の画像又は音声を扱えるものとする。さらに、画像・音声圧縮部260は、スケーラブル・コーデックとしても機能するものとする。ここで言うスケーラブル・コーデックは、例えば、受信側の情報処理装置(シンク機器)の解像度やネットワーク環境などに応じて、自在に適応することができるコーデックを意味する。
 ストリーム送信部270は、制御部240の制御に基づいて、画像・音声圧縮部260により圧縮されたデータ(画像データ及び音声データ)を、ストリームとして無線通信部220を経由してアンテナ210から送信する送信処理を行なう。
 なお、情報処理装置200は、上述した各部以外にも、表示部、音声出力部、操作受付部などを備えることができるが、これらについては、簡素化のため、図2での図示を省略する。
 情報処理装置200の表示部(図示しない)は、例えば、画像・音声信号生成部250により生成された画像を表示する。表示部として、各種の表示パネルを用いることができる。例えば、有機EL(Electro Luminescence)、クリスタルLED(Light Emitting Diode)ディスプレイ、LCD(Liquid Crystal Display)を用いることができる。
 また、情報処理装置200の音声出力部(図示しない)は、例えばスピーカーであり、画像・音声信号生成部250により生成された音声を出力する。なお、画像については、送信機器及び受信機器の双方から出力することもできるが、音声については何れか一方のみから出力することが好ましい。
 また、情報処理装置200の操作受付部(図示しない)は、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクで構成され、操作者により行なわれた操作入力を受け付ける。なお、操作受付部と上記の表示部については、操作者がその指を表示面に接触又は近接することにより操作入力を行なうことが可能なタッチパネルを用いて一体で構成することができる。
 また、本明細書では情報処理装置200が送信対象となる画像データ及び音声データを生成する例について説明するが、情報処理装置200は、送信対象となる画像データ及び音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置200は、マイクロフォン付きのWebカメラから、送信対象となる画像データ及び音声データを取得するようにしてもよい。
 また、情報処理装置200は、図示しない記憶装置(例えば、ハードディスク)に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)を送信対象とするようにしてもよい。記憶装置は、情報処理装置200の内蔵又は外部接続のいずれであってもよい。この場合に、その記憶装置に保存されているコンテンツが圧縮済みのコンテンツである場合も想定される。その圧縮済みのコンテンツが、通信システム100で採用されている規格で定義されたエンコード方式で圧縮されている場合には、その圧縮済みのコンテンツを復号(デコード)せずにそのまま送信するようにしてもよい。
[シンク機器の構成]
 図3には、第1の実施形態に係る通信システム100においてシンク機器として動作する情報処理装置300の機能的構成例を模式的に示している。他の情報処理装置400も同様の機能的構成を備えるものと理解されたい。
 情報処理装置300は、アンテナ310と、無線通信部320と、ストリーム受信部330と、画像・音声展開部340と、画像・音声出力部350と、ユーザー情報取得部360と、制御部370と、制御信号送信部380と、管理情報保持部390を備えている。画像・音声出力部350は、表示部351及び音声出力部352を備えている。以下、各部について説明する。
 無線通信部320は、制御部370の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置200などのソース機器)との間で各情報(例えば、画像データ及び音声データ)の送受信を、アンテナ310を介して行なう。例えば、他の情報処理装置からの画像データの受信処理が行なわれる場合、アンテナ310により受信された画像データが、無線通信部320、ストリーム受信部330を経由して画像・音声展開部340により展開(復号)される。そして、その展開された画像データが画像・音声出力部350に供給され、その展開された画像データに応じた画像が画像・音声出力部350から出力される。すなわち、その展開された画像データに応じた画像が表示部351に表示される。また、展開された音声データに応じた音声が音声出力部352から音声出力される。
 また、無線通信部320は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置200)との間で各情報の送受信を行なうことが可能であるものとする。第1の実施形態では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを同時又は選択した周波数のみを送受信可能な機能を備える例について説明する。すなわち、無線通信部320は、第1の周波数帯を用いる通信と、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯を用いる通信とを行なうことが可能であるとする。また、制御部370は、各ソース機器との無線通信に、複数の周波数チャネルのうちのどの周波数チャネルを使用させるかを制御する。
 なお、図1に示した通信システム100において、情報処理装置200及び情報処理装置300間(若しくは、ソース機器とシンク機器間)のリンクと、情報処理装置400及び情報処理装置300間(若しくは、シンク機器同士)のリンクとは同一の周波数チャネルとするようにしてもよく、異なる周波数チャネルとするようにしてもよい。
 また、第1の実施形態では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例について説明するが、使用する周波数チャネルはこれらに限定されない。例えば、無線通信部320が、他の周波数チャネルや、1種類又は2種類の周波数チャネルを送受信可能な機能しか備えていなくてもよい。さらに4種類以上の周波数チャネルを送受信可能な機能を備えるようにしてもよい。
 ストリーム受信部330は、制御部370の制御に基づいて、無線通信部320により受信された各情報のうちから、各ソース機器とのやりとりの情報及びストリーム(例えば、画像ストリーム、音声ストリーム)を受信する。そして、ストリーム受信部330は、受信したやりとりの情報を制御部370に出力し、受信したストリームを画像・音声展開部340及び制御部370に出力する。
 ここで言う、各ソース機器とのやりとりの情報は、ソース機器(例えば、情報処理装置200)から送信される情報であり、例えば、情報処理装置300のシステム性能情報の取得要求を含む。このシステム性能情報は、例えば、使用可能な周波数チャネル、解像度、TCP、UDPや、暗号化方法の対応、SD/HD/4K対応、低消費電力モードの対応のそれぞれを示す情報である。
 また、ストリーム受信部330は、無線通信を利用してソース機器との間でデータの送受信が行なわれている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備える。そして、ストリーム受信部330は、その測定結果(電波伝搬測定情報)を制御部370に出力する。
 画像・音声展開部340は、制御部370の制御に基づいて、他の情報処理装置(例えば、情報処理装置200)から送信されたストリーム(画像データ及び音声データ)を展開(デコード)する。そして、画像・音声展開部340は、その展開されたデータ(画像データ及び音声データ)を画像・音声出力部350に出力する。なお、画像・音声展開部340は、ソフトウェアによるデコードの実行により実現するようにしてもよく、ハードウエアによるデコードの実行により実現するようにしてもよい。また、画像・音声展開部340は、コーデックとして機能することを想定しているが、非圧縮の画像又は音声を扱えるものとする。また、画像・音声展開部340は、スケーラブル・コーデックとしても機能するものとする。
 画像・音声出力部350内の表示部351は、画像・音声展開部340により展開された画像データに基づく各画像を表示する。なお、表示部351として、例えば、有機ELパネル、クリスタルLEDディスプレイ、LCDパネルなどの表示パネルを用いることができる。また、表示部351として、操作者がその指を表示面に接触又は近接することにより操作入力が可能なタッチパネルを用いるようにしてもよい。
 また、音声出力部352は、例えばスピーカーで構成され、画像・音声展開部340により展開された音声データに基づく各種音声(表示部351に表示された画像に関する音声など)を出力する。音声の出力方法としては、例えば、中央チャネル(メイン画像)に割り当てられたソース機器の音声のみをスピーカーから再生して周辺チャネル(サブ画像)に割り当てられたソース機器の音声を再生しない方法を用いることができる。また、他の音声の出力方法として、例えば、中央チャネルに割り当てられたソース機器の音声の音量をメインにして、周辺チャネルに割り当てられたソース機器の音声の音量を下げて再生する方法を用いることができる。勿論、これら以外の音声の出力方法を用いるようにしてもよい。
 ユーザー情報取得部360は、当該情報処理装置300の操作者に関する情報(ユーザー情報)を取得し、その取得されたユーザー情報を制御部370に出力する。例えば、ユーザー情報取得部360は、操作者が表示方法を直接設定することができる操作受付部(キーボード、マウス、リモコン、ゲームパッド、タッチパネル)からの入力を受け付けることにより、ユーザー情報を取得することができる。なお、操作受付部は、例えば、表示部351に表示される画像における任意の領域を指定するための操作部材である。また、例えば、ユーザー情報取得部360は、カメラ、マイク、各種センサー(例えば、ジャイロセンサー、人体を感知するセンサー)などのように操作者の意図を把握することができるデバイスからの入力を受け付けることによりユーザー情報を取得することができる。
 例えば、ユーザー情報取得部360は、無線通信を利用して他の情報処理装置(例えば、情報処理装置200)から受信したストリームに基づく情報が画像・音声出力部350から出力されている際における操作者によるユーザー動作により生じるユーザー情報を取得する。このユーザー情報は、例えば、表示部351に表示されている画像に関するユーザー動作により生じるユーザー情報である。例えば、ユーザー情報は、表示部351に表示されている画像に関するユーザー操作に基づいて生成される情報である。
 また、ユーザー情報取得部360は、表示部に付属する撮像部(図示しない)により生成された画像データを取得してユーザー情報を生成することができる。また、ユーザー情報取得部360は、例えば外部装置(例えば、各センサーやウェアラブル・デバイス)により取得される情報(例えば、位置情報、識別情報)を取得してユーザー情報を生成するようにしてもよい。
 制御部370は、ストリーム受信部330により取得された各情報を管理情報保持部390に保持させ、管理情報保持部390に保持されている管理情報に基づいてソース機器を管理する。また、制御部370は、マルチソース・トポロジー環境においては、複数のソース機器から送信されるストリームをシステム全体で安定度が向上するようにストリームの伝送制御を行なう。
 例えば、制御部370は、ユーザー情報取得部360により取得されたユーザー情報と、管理情報保持部390に保持されている管理情報とに基づいてストリームの伝送制御を行なう。具体的には、制御部370は、管理情報保持部390に保持されている管理情報に基づいて、ストリームの伝送制御を行なうための制御信号をソース機器毎に生成する。そして、制御部370は、その生成された制御信号を制御信号送信部380に出力する。例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351に表示される画像の解像度を変更し、この解像度と同等の送信レートを各ソース機器に要求するための制御信号を生成する。また、例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351における画像の表示領域を決定するための制御信号を生成する。また、例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351における画像のサイズを決定するための制御信号を生成する。
 また、制御部370は、ユーザー情報及び管理情報に基づいて、使用する周波数チャネルと解像度を設定するための制御を行なう。例えば、制御部370は、無線通信部320が備える複数の周波数チャネルについて、使用する周波数チャネルをソース機器毎に設定する。また、制御部370は、周波数チャネル毎に、消費電力モードが異なる場合には、それぞれのモードを把握し、モバイル機器の消費電力をケアした周波数チャネルを設定することができるようにする。すなわち、制御部370は、第1の周波数帯に関する第1の消費電力モードと、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯に関する第2の消費電力モードを別々に設定することができる。
 制御信号送信部380は、制御部370から出力された制御信号を無線通信部320並びにアンテナ310を介して、他の情報処理装置に送信する送信処理を行なう。
[Wi-Fi CERTIFIED Miracast仕様コマンドを用いたやりとりの通信例]
 図4には、第1の実施形態におけるソース機器410とシンク機器420間の接続シーケンス例を示している。同図は、RTSP(Real Time Streaming Protocol)プロトコルを用いたやりとり(WFD capability negotiation)の通信処理例である。但し、ソース機器410とシンク機器420はそれぞれ、図1に示した通信システム100における情報処理装置200と情報処理装置300に相当するものとする。
 最初に、図4中の点線の矩形430内に示すように、ソース機器410からシンク機器420に送信される「RTSP M3 Request」(RTSP GET_PARAMETER Request)メッセージと、これに応答してシンク機器420からソース機器410に送信される「RTSP M3 Response」(RTSP GET_PARAMETER Response)メッセージを用いることができる。
 一方、ソース機器410からシンク機器420に適宜送信するようにしてもよい。例えば、上記の「RTSP M3 Request」メッセージと、「RTSP M3 Response」メッセージのやりとりを省略して、ソース機器410からシンク機器420に送信されるメッセージに管理情報を含めて、ソース機器410からシンク機器420に管理情報を送信し、シンク機器420が情報を選択して管理情報保持部390に保持するようにしてもよい。また、コンテンツ・プロテクション設定を行なう場合、「RTSP M3 Response」メッセージの後にリンク・プロテクション・セットアップを行ない、その後、M4以上のメッセージに関する秘話性を確保したまま、通信を行なうようにしてもよい。
 RTSP M3 Responseとして受信するシンク機器420の情報は、以下のとおりである。
・Audio format(s) supported by the WFD Sink.
・video format(s) support by the WFD Sink.
・3D formats supported by the WFD Sink.
・The HDCP system 2.0/2.1/2.2 support/control port.
・Available EDID information of display attached to the WFD Sink.
・Coupled WFD Sink information.
・RTP port(s) the WFD Sink(s) listen on.
・Supports I2C commands and port number.
・UIBC capability supported.
・WFD Source uses this parameter to obtain the connector type currently active on the WFD Sink.
・Indicate the support for standby and resume control using RTSP.
 図4に示したソース機器410とシンク機器420との接続シーケンスは、第1の実施形態に係る通信システム100における情報処理装置200と情報処理装置300との接続シーケンス、並びに、情報処理装置200と情報処理装置400との接続シーケンスに当てはまる。
[アクセシビリティー・モードが混在するマルチシンク・トポロジー環境]
 続いて、図1に示したようなマルチシンク・トポロジー環境で、障がい者向け端末モードであるアクセシビリティー・モードが混在する環境について考察する。
 ここで言うアクセシビリティー・モードとは、身体に障がいのある方や高齢のため身体の機能が低下している方々に対しての閲覧保障性(ウェブ・アクセシビリティー)へ対応したモードである。視覚障がいをサポートする「視覚障がいサポート」、聴覚障がいをサポートする「聴覚障がいサポート」、認知又は身体障がいをサポートする「身体機能(操作困難)サポート」など、サポートすべき障がい毎に、アクセシビリティー・モードの種別(情報処理装置において対応する動作)が異なる。各アクセシビリティー・モード種別における情報処理装置の動作を以下に例示する。
(1)視覚障がいサポート
・画面内容を音声読み上げすることで、視覚サポートを行なう。具体的には、アプリケーション名を音声読み上げする機能、タップを変更し、アイコンを選択するときには1回タップし、アイコンを実行するためには、ダブルタップするといった端末が存在する。さらに、バイブレーションによりアイコンが選ばれたことを通知する方法や、点字用ディスプレイを接続することも可能となる。
・画面の文字を大きくすること、ズーム機能による画面を拡大・縮小、画面の色反転などが可能である。
(2)聴覚障がいサポート
・映画、ビデオ鑑賞時は、字幕表示に変更する。
・音声の音量を調整する。
・着信をLEDフラッシュで通知する。
(3)身体機能サポート
・ピンチなどうまくできないジェスチャーを、認知又は身体障がいのある操作者が操作可能な独自に作った別のジェスチャーに置き換えられる。
・ピンチなどのジェスチャーができないときに、音声操作ができるようにする。
 図8には、障がいの種別毎の情報処理装置に対する対応要求と、実際に情報処理装置が対応する動作例をまとめている。
 図8を補足すると、対応動作「音声、触覚での情報提示、操作」の具体例として、TTS(text to speech)、報知音、凸点、点字、ディスプレイ、音声操作などを挙げることができる。また、対応動作「見え難い色の組み合わせを用いない、色で判別する情報に文字を併記」の具体例として、赤・緑の組み合わせ禁止や、カラーキーに文字を併記することなどを挙げることができる。また、対応動作「視力0.286~0.1の人が操作可」の具体例として、文字、画面の拡大、コントラストの変更などを挙げることができる。また、対応動作「音声情報の視覚化」の具体例として、Speech to Text、報知光、振動、ジェスチャー、手話などを挙げることができる。また、対応動作「発話に頼らないモードを提供」の具体例として、キーボード対応などを挙げることができる。また、対応動作「認知、記憶、言語、理解能力を問わないモードを提供」の具体例として、Plain text、TTS、記号やイラストを併記することなどを挙げることができる。また、対応動作「細かい操作や同時に行なう操作を要求しないモードを提供」の具体例として、キーボードショートカット対応などを挙げることができる。また、対応動作「身体を伸ばしたり、力を入れることが不自由な人でも操作できるモードを提供」の具体例として、タッチパネル、外部キーボード、音声操作などを挙げることができる。また、対応動作「身体に直接触れなくても操作可」の具体例として、大きなキーボード、音声操作などを挙げることができる。
 同じ障がいの種別であっても、障がいの度合いによって、情報処理装置に対する対応要求は異なってくる。また、障がいの種別が相違していても、障がいの度合いによっては、情報処理装置への対応要求や情報処理装置の対応動作が同一又は類似する場合もある。但し、図8は例示に過ぎず、障がいの種別に対する他の対応要求も考え得ることを理解されたい。以下では、障がいの種別に応じたアクセシビリティー・モードを「アクセシビリティー・モード種別」とする。
[想定される接続形態]
 複数のシンク機器が、健常者向けモード(通常モード)と障がい者向けモード(アクセシビリティー・モード)とが混在するマルチシンク・トポロジー環境において、ソース機器の動作概要について説明する。
 図5Aには、ソース機器とシンク機器がともにアクセシビリティー・モードでやりとりする接続形態を例示している。例えば図1に示した通信システム100で、情報処理装置200と情報処理装置300がアクセシビリティー・モードで、情報処理装置400が通常モードで、それぞれ動作している場合である。
 また、図5Bには、通常モードのソース機器とアクセシビリティー・モードのシンク機器がやりとりする接続形態を例示している。例えば図1に示した通信システム100で、情報処理装置200が通常モードで動作し、情報処理装置300又は400のうち少なくとも一方がアクセシビリティー・モードで動作している場合である。
 マルチシンク・トポロジー環境では、図5Aや図5Bに例示したように、通常モードとアクセシビリティー・モードのシンク機器が混在することが想定される。ソース機器は、各シンク機器を接続時に、アクセシビリティー・モードかどうかを確認する。そして、アクセシビリティー・モードのシンク機器に対しては、本来の画像・音声データの伝送の際に、障がいをサポートするための(若しくは、伝送する画像の閲覧を保証するための)メタデータ(図8に示す対応動作例を実現するのに必要なデータ、例えば、音声、映像、テキスト、音声情報を視覚化した情報、サイズ情報など)を加えるかどうかを判断する。ソース機器は、各々のシンク機器のアクセシビリティー・モードがオン又はオフかによって、メタデータの伝送方法を変更する。伝送方法には、Multiple Unicast、Multicastの両方を利用することができる。
 例えば、ソース機器は、接続したすべてのシンク機器へ、サポートが必要なすべてのメタデータを送信する。これに対し、各シンク機器は、自分のアクセシビリティー・モード種別に適合するメタデータを利用するか否かをそれぞれ判断すればよい。
 図5A並びに図5Bに示したような、通常モードとアクセシビリティー・モードが混在するマルチシンク・トポロジー環境では、以下の(1)~(5)に示す5通りのアプローチが考えられる。
(1)マルチシンク・トポロジー環境において、ソース機器は、画像転送を開始する前に、各シンク機器のモードを統一するための調停を行なう。具体的には、ソース機器は、複数のシンク機器のモードを一致するよう、各シンク機器へ要求(シンク機器のモード統一のための調停)をし、各端末のモードを一致させてから画像転送を開始する。
(2)ソース機器は、(1)のような複数のシンク機器とのモードを統一するための調停を行なわず、自端末の動作モードで送信処理を行なう。各シンク機器は、ソース機器から受信したデータに基づいて、自端末が取り扱い可能なデータに変換させて、再生する。
(3)マルチシンク・トポロジー環境において、ソース機器は、アクセシビリティー・モードのシンク機器と接続することを把握し、これから接続するアクセシビリティー・モード種別の論理和をとった結果に基づいて、サポートが必要なすべてのメタデータを送信する。シンク機器は、受信した複数のメタデータの中から、自端末にて再生可能なメタデータのみを抽出して再生する。
(4)マルチシンク・トポロジー環境において、ソース機器は、複数のシンク機器のうち、アクセシビリティー・モードの有無を把握し、アクセシビリティー・モード端末が存在する場合には、アクセシビリティー・モード種別として選択可能なすべてのメタデータをCapability Negotiation処理から情報収集する。シンク機器は、受信した複数のメタデータの中から、自端末にて再生可能なメタデータのみを抽出して再生する。
(5)マルチシンク・トポロジー環境において、ソース機器は、複数のシンク機器が選択されたアクセシビリティー・モード種別をCapability Negotiation処理から情報収集する。情報収集の結果、同じ障がいの種別毎にグループ分けを行ない、グループ毎に対応したメタデータを送信する。
 図6には、図5Aに示したトポロジー環境で、上記のアプローチ(1)でソース機器と各シンク機器間の接続シーケンス例を示している。
 ソース機器200がアクセシビリティー・モードの場合、シンク機器300がアクセシビリティー・モード種別まで一致するどうか、また、シンク機器400を通常モードからアクセシビリティー・モードへ変換するためのアプローチが必要となる。
 まず、図5Aに示したトポロジー環境で、ソース機器200とシンク機器300のアクセシビリティー・モードが一致していることを前提としてソース機器200とシンク機器300の接続シーケンスの処理について説明する。
 ソース機器200のアクセシビリティー・モードを操作し映像又は音声を選択すると、通常のコンテンツ・データ(図6記載のコンテンツ・データ)の伝送の他に、アクセシビリティー・モード用メタデータ(図6記載のメタデータ)として、上記視覚サポート、聴覚サポート、身体機能(操作困難)サポートのうち、どれか1つ以上の情報を別途送信する。但し、アクセシビリティー・モード用メタデータとコンテンツ・データの送信手順は、図6に示した通信手順に限定されない。アクセシビリティー・モード用メタデータは、コンテンツ・データを(障がいをサポートするために)補間する情報であり、コンテンツ・データと同時に送信される以外に、どちらか片方が送信されることもある。
 これに対し、シンク機器300は、ソース機器200からコンテンツ・データを受信すると同時に、アクセシビリティー・モード用メタデータを受信し、シンク機器300内部の制御によって、適宜、最適なコンテンツの表示を行なう。
 一方、シンク機器300側でアクセシビリティー・モードを操作してソース機器200の映像又は音声をリモート選択すると、上記コンテンツ・データとメタデータとは別に、シンク機器300からソース機器200へ、シンク機器300の操作情報がアクセシビリティー・モード用操作情報(図6記載の操作用メタデータ)として送信される。ソース機器200は、シンク機器300から、シンク機器300の操作情報をシンク機器300のアクセシビリティー・モード用操作情報として受信すると、受信した操作情報の通りに動作を行なう。アクセシビリティー・モード用操作情報に基づくソース機器200の操作は、従来のUIBCと同等の機能であるが、閲覧保障性を考慮することで、UIBCのデータ種別が、音声や映像やテキスト情報、又は音声情報を視覚化した情報も含まれるものとする。
 ここで、ソース機器200又はシンク機器300の操作者が接続中に変更した場合のために、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を用意してもよい。例えば、送受信間で本メッセージがやりとりされると、現在送受信中の無線映像伝送を切断させることなく、通常モードとアクセシビリティー・モード、又は、アクセシビリティー・モードの種別を変更することが可能となる(図11(後述)にコマンドのやりとりの一例を示す)。
 なお、ソース機器は、アクセシビリティー・モードの種別を変更する前に、操作しているシンク機器に対し、操作者へ変更が問題ないかを確認するポップアップを表示させるようにてもよい。
 続いて、図5Aに示したトポロジー環境で、ソース機器200とシンク機器300のアクセシビリティー・モードが一致していないことを前提として、ソース機器200とシンク機器300の接続シーケンスの処理について説明する。
 ソース機器200からシンク機器300へ伝送する映像や音声を、ソース機器200側にて操作する場合、ソース機器200は、ソース機器200とシンク機器300のアクセシビリティー・モード種別が一致するよう、操作によって作成された映像、音声、テキストとリンクしたアクセシビリティー・モード用メタデータをシンク機器300に送信する。このとき、ソース機器200は、上記アクセシビリティー・モード用メタデータを、シンク機器300が操作可能なコンテンツ・メディアに変換してから送信処理を行なう。例えば、聴覚サポートのアクセシビリティーの場合、ソース機器200は、映画、ビデオ鑑賞コンテンツについては、字幕データをテキストとして送信したり、音声の音量を調整したりする。また、ソース機器200は、シンク機器300側で着信をLEDフラッシュが実現できるよう、制御データをシンク機器300へ伝送する処理を行なう。
 また、上記のアプローチ(2)では、シンク機器400は、ソース機器200からアクセシビリティー・モード用コンテンツ・データ、又は、アクセシビリティー・モード用メタデータを受信すると、適宜、コンテンツに最適な変換を施してから表示を行なう。
 ソース機器200は、シンク機器400から、(ソース機器200が受信可能な操作情報に変換された)ソース機器200のリモート操作情報を受信し、受信した操作用メタデータを、そのままアクセシビリティー・モードの操作用データとして処理する。従来のUIBCと同等の機能であるが、閲覧保障性を考慮することで、UIBCのデータ種別に、音声や映像やテキスト情報、又は音声情報を視覚化した情報も含まれてもよいものとする。
 なお、アプローチ(2)を実現するための動作は上記に限定されないものとする。例えば、アクセシビリティー・モードに合ったデータ変換はソース機器200又はシンク機器400側のどちらでもよい。加えて、例えば、ソース機器200側で通常モードに変換できるようにしてもよい。特に、操作用データは、通常モードとアクセシビリティー・モードではタップの扱いが異なるため、モードが異なる機器間の伝送では変換操作が必須となる。例えば、身体機能(操作困難)サポートにおいて、ソース機器200の操作者が独自のユーザー操作を登録した場合、シンク機器300、400では操作内容の解釈できないため、ソース機器200でシンク機器300のアクセシビリティー・モードとシンク機器400の通常モードの操作を理解できるように、ソース機器200にて把握するのが適している。
 続いて、上記のアプローチ(3)において、ソース機器410が、具体的にはMiracastでの処理を用いて、シンク機器420とのCapability Negotiationを行なう方法について、図7を参照しながら説明する。このCapability Negotiationを行なう方法によって、聴覚、視覚、身体機能(操作困難)のうちどのアクセシビリティー・モードが選択されているかをソース機器410側で判断できるかを確認することが可能となる。
 図7中の点線の矩形430内に示すように、シンク機器420は、ソース機器410からのRTSP GET_PARAMETERRequestに従って、シンク機器420側に設定しているアクセシビリティー能力を、GET_PARAMETER Responseで返信している。図7では、このGET_PARAMETER Responseの返信内容の一例を示している。
 なお、ソース機器410がシンク機器420とアクセシビリティー能力をやりとりするメッセージにおいて、Miracast規格上で実現する場合のメッセージの一例として、以下を使用するものとする。
Figure JPOXMLDOC01-appb-T000001
[アクセシビリティー・モードの設定例]
 図10及び図11には、第1の実施形態に係る通信システム100において、ソース機器とシンク機器間でCapability Negotiation通信処理を行なうシーケンス例を示している。図10及び図11では、Capability Negotiationにおいて、アクセシビリティー・モード用メタデータを設定するための通信例(アクセシビリティー・モード用メタデータの設定例)を示している。このアクセシビリティー・モード用メタデータ設定方法については、Wi-Fi CERTIFIED Miracastの規格に適応した場合の一例である。
 アクセシビリティー・モード用メタデータを設定する場合、M3メッセージ(RTSP GET_PARAMETER)により、ソース機器410及びシンク機器420間でWfd-accessibility-capabilityのやりとりを行なう。このやりとりは、シンク機器420がアクセシビリティー・モード用メタデータ機能を内蔵しているか否かを、ソース機器410が確認することが目的である。
 この目的を上記のアプローチ(3)で実現する場合、図6に示した通信シーケンス中のS601とS602のCapabilityNegotiationのRTSP M3の各メッセージにおいて、図9のアクセシビリティー対応要求のビット・アサインが同時に立ち上がっているモードを、ソース機器200はすべてのシンク機器300、400が設定可能な統一のアクセシビリティー・モードと判断する。
 例えば、ビット0が”1”(アクセシビリティー・モード On)の前提で、S601のメッセージで一方のシンク機器300から示されるWfd-accessibility-capability Response情報[14:5]が0000000101となり、S602のメッセージで他方のシンク機器400から示されるWfd-accessibility-capability Response情報[14:5]が0000000100となった場合、すべての操作内容をビットORすると、1ビット目(図9に示すビット・アサインでは「視力なしで操作可能」に対応)と3ビット目(図9に示すビット・アサインでは「弱視且つ軟調で操作可能」に対応)が“1”になっている。例えば、図8に示した障がいの種別の対応要求に対する対応例に従うとすると、ソース機器200は、以下の2つのうちいずれをアクセシビリティー・モード用メタデータとして生成可能かを判断する。
・報知音声、点字ディスプレイ用データ、操作用音声
・文字サイズ、画面拡大レベル、コントラスト変更に関する情報
 そして、ソース機器200は、上記2つのアクセシビリティー・モード用メタデータのうちどちらかを生成可能と判断することができた場合、Wfd-accessibility-settingとして、該当するアクセシビリティー・モードを設定するようにする。
 図10Aに示す、ソース機器410とシンク機器420間でのCapability Negotiation通信方法では、ソース機器410は、シンク機器420のCapability情報をシンク機器420から受信すると、M4メッセージで、シンク機器420にアクセシビリティー・モード用メタデータ回線設定要求を行なう。なお、M4メッセージでアクセシビリティー・モード用メタデータ回線設定要求を送信せずに、画像伝送を開始した後に、M14メッセージで接続要求を行なうようにしてもよい。また、M14メッセージ送信時には、ソース機器410からの要求だけでなく、図11Aに示すように、シンク機器420からソース機器410へアクセシビリティー・モード用メタデータ回線設定要求を行なうようにしてもよい。
 また、M4でwfd-accessibility-setting、wfd-accessibility-settingのやりとりを行なうことができた場合、アクセシビリティー・モード用メタデータがEnableになるが、M14メッセージのやりとりを行なった場合では、M15メッセージを受信するまで、アクセシビリティー・モード用メタデータがEnableにならない。このため、図10Bや図11Bに示すように、ソース機器410又はシンク機器420は、アクセシビリティー・モード用メタデータ回線設定要求に対する返答を受信した後、M15メッセージのやりとりを行なう。これにより、アクセシビリティー・モード用メタデータ回線がEnableとなる。
 図11に示す動作シーケンス例では、ソース機器410とシンク機器420との間で映像伝送を開始した後に、アクセシビリティー・モード用メタデータ回線をシンク機器420から要求している。なお、図11Aについては、図10Aに示した通り、映像伝送開始前のCapability Negotiation時に設定することもできるものとする。
 以上により、ソース機器とシンク機器がアクセシビリティー・モードに対応しているかどうかを、接続時のCapabilityNegociationで確認することができる。さらに、本実施例ではCapability Negotiationによって、アクセシビリティー・モード種別を判断していたが、その他でもよい。例えば、Deivce Descovery又はService Discoveryを用いてもよい。Deivce Descovery又はService Discoveryの制御方法の一例としては、P2P IE(Information Element)、WFD IE(Information Element)、ASP(Application Service Platform)、UPnP(Universal Plug and Play)標準でのプロトコルなどを用いてもよい。
 さらに、ソース機器からシンク機器へ、アクセシビリティー・モード用メタデータ(図8の対応動作例を実現するのに必要なデータ、例えば、音声、映像、テキスト、バイブレーション)を送信するチャネルを新設することもできる。また、アクセシビリティー・モード用メタデータに意味を持たせて、又はシンク機器が設定モードに応じて、シンク機器からソース機器へ伝送するUIBCをEnableになっていない接続設定でも再生するか情報を判断し、選択することができる。
 図12には、アクセシビリティー・モード用メタデータ回線をEnableにすることで、各アクセシビリティー・モード種別におけるシンク機器の動作例をまとめている。
 同図において、「アクセシビリティー」(視覚サポート、聴覚サポート、操作困難サポート、認知サポート)の欄は、ソース機器とシンク機器間で設定されたモード種別を示し、「メディア・データ」の欄は、コンテンツ・データのメディアを示し、Miracast規格ではRTPによって送信されるデータに相当する。
 「アクセシビリティー・データ」は、アクセシビリティー用メタデータ回線を用いて伝送されるメディア(アクセシビリティー・モード用メタデータ)を示す。アクセシビリティー用メタデータ回線のプロトコルとしては、例えば、RTSP又はTCPを用いて伝送される。
 「アクセシビリティー・モード時対応」又は「通常モード時対応」の各欄は、シンク機器でアクセシビリティー・モードが選択された場合と通常モードが選択された場合それぞれの表示形態の違いの一例を示している。
 例えば、アクセシビリティー・モード種別が「視覚障がい」且つ「視力なしで操作可能」(図8を参照のこと)の場合、音声、触覚での操作が可能となるため、図12においては音声操作を可能にするため、メディア・データとして音声を伝送するとともに、アクセシビリティー・モード用メタデータとして操作用音声をソース機器からシンク機器へ伝送する。
 メディア・データ用音声、アクセシビリティー・モード用メタデータとしての操作用音声を受信したシンク機器は、アクセシビリティー・モード時(例えば、図17(後述)に示すシンク機器の画面でアクセシビリティー操作ボタンがオンの場合)の対応として、メディア音声をミュート又は音量を落とし、操作用音声をメインに再生する処理を行なう。一方、通常モード時(例えば、図17に示すシンク機器の画面でデフォルト操作ボタンがオンの場合)の対応としては、メディア音声を優先して流し、操作用音声は再生しない処理を行なう。
 図13A及び図13Bには、ソース機器が複数のシンク機器用アクセシビリティー・モード種別の中から共通するアクセシビリティー・モードを選択するための処理手順をフローチャートの形式で示している。
 まず、ソース機器200の制御部240は、接続したい(情報伝達範囲101内に存在する)各シンク機器との間でCapability Negotiationを開始する(ステップS902)。
 続いて、制御部240は、各シンク機器との間で接続可能なアクセシビリティー・モードを確認した後、アクセシビリティー・モードでの動作を要求するか否かを判断する(ステップS903)。アクセシビリティー・モードでの動作を要求しないシンク機器に対しては(ステップS903のNo)、ソース機器200は、通常モードで通信を開始する。
 また、ソース機器200の制御部240は、シンク機器にアクセシビリティー・モードでの動作を要求するときには(ステップS903のYes)、そのシンク機器をメタデータ管理リストに登録し保持する(ステップS904)。
 接続したいすべてのシンク機器への確認が終了していないときには(ステップS905のNo)、ステップS902に戻って上記と同様の処理を繰り返す。また、接続したいすべてのシンク機器への確認を終了すると(ステップS905のYes)、制御部240は、次ステップS906の処理に進む。
 ソース機器200は、同じアクセシビリティー・モード種別を持つシンク機器毎にグループ分けすることが可能かどうかをチェックする(ステップS906)。
 アクセシビリティー・モード種別毎にシンク機器をグループ分けしない場合には(ステップS906のNo)、接続したいすべてのシンク機器にすべてのアクセシビリティー・モード用メタデータを送信して(ステップS907)、本処理を終了する。
 一方、シンク機器をアクセシビリティー・モード種別毎にグループ分けして管理を行なう場合には(ステップS906のYes)、ソース機器200は、アクセシビリティー・モードの種別を確認する(ステップS908)。アクセシビリティー・モードの種別を考慮する必要がない、又は種別情報が含まれていない場合には(ステップS909のNo)、アクセシビリティー・モードの中で最も優先度が高いモードを選択する。図13Bでは、視覚サポート、聴覚障がい、操作困難の順で優先度が高いというケースを示している。
 ソース機器200は、各ステップS910、S911、S912で、グループのアクセシビリティー・モードが視覚サポートか、聴覚サポートか、身体(操作困難)サポートかを、シンク機器から受信したCapability情報から判断する。
 グループのアクセシビリティー・モードが視覚サポートの場合(ステップS910のYes)、ソース機器200は、アクセシビリティー・モード用メタデータとして、コンテンツ・メディア伝送に同期した音声の提供(例えば、アプリケーションの内容を読み上げる処理)や、操作者がタップしたときに選択されたアイコンの名称を音声にて提供する処理に変更して(ステップS913)、当該グループに振り分けられた各シンク機器へ伝送する(ステップS916)。なお、音声提供方法として、アクセシビリティー・モード用コンテンツ・メディアの音声の一部として提供する方法や、アクセシビリティー・モード用メタデータとして音声を挿入する方法を挙げることができるが、これらに限定されない。
 また、グループのアクセシビリティー・モードが聴覚サポートの場合(ステップS911のYes)、ソース機器200は、アクセシビリティー・モード用メタデータとして、コンテンツ・メディア伝送に同期した字幕の提供や、操作者がセットした音声通知をLEDフラッシュに変換して(ステップS914)、当該グループに振り分けられた各シンク機器へ伝送する(ステップS916)。なお、字幕やLEDフラッシュの提供方法として、コンテンツ・メディアの一部として提供する方法や、アクセシビリティー・モード用メタデータとして提供する方法が挙げられるが、これらに限定されない。また、コンテンツ・メディア、アクセシビリティー・モード用メタデータを無線伝送する際のパケット種別は、マルチキャスト・パケット又はユニキャスト・パケットのどちらでも良い。
 また、グループのアクセシビリティー・モードが身体(操作困難)サポートの場合(ステップS912のYes)、ソース機器200は、独自に作成したジェスチャー操作のデータを、シンク機器が理解できるポインティングへ変換した後(ステップS915)、当該グループに振り分けられた各シンク機器へ送信する処理を行なう(ステップS916)。なお、送信するコンテンツ・メディア、アクセシビリティー・モード用メタデータを無線伝送する際のパケット種別は、マルチキャスト・パケット又はユニキャスト・パケットのどちらでも良い。
 ステップS917は本動作フローを終了する処理である。
 なお、送信又は受信端末において、端末のモード又はアクセシビリティーの種別が異なる場合、送信又は受信で操作用手段を変換するようにし、モードを一致させてもよい。
 このように、ソース機器200の無線通信部220は、Wi-Fi CERTIFIED Miracast仕様に従ってシンク機器との間でリアルタイム画像伝送を行なう。また、制御部240は、ソース機器から送信された画像情報に基づく画像を表示部(図2では図示しない)に表示させ、その画像に関するアクセシビリティー・モード用メタデータをシンク機器との間でやりとりするための複数の通信方式(UIBC、WebSocket)に使用されるポートでの制御を行なう。この場合に、例えば、制御部240は、シンク機器との間で生成されたTCPセッション上でポートを設定する場合に、ポートを使用する複数の通信方式を指定する情報(例えば、図15(後述)を参照のこと)をシンク機器に送信する。
 制御部240は、複数の通信方式に使用されるポートとして複数の通信方式毎に複数のポートを設定することができる。この場合には、制御部240は、シンク機器からの要求に応じて複数のポートを設定することができる。
 また、制御部240は、複数の通信方式に使用されるポートとして複数の通信方式について1つのポートを設定することができる。
 また、例えば、情報処理装置200の制御部240は、シンク機器側の表示部に画像を表示させるための画像情報をシンク機器に送信する。また、制御部240は、その画像に関する制御情報をシンク機器との間でやりとりするための複数の通信方式に使用されるポートを設定する制御を行なうことができる。
[第2の実施形態]
[通信システム構成]
 図16には、本明細書で開示する技術の第2の実施形態に係る通信システム1100の構成例を模式的に示している。図16では、P2Pダイレクト通信により無線通信を行なうことができる通信システムの一例を示している。
 通信システム1100は、複数の情報処理装置1200、1300、1400で構成される。また、通信システム1100は、情報処理装置1200又は情報処理装置1400のうちの少なくとも1つから送信されるデータ(例えば、画像データや音声データ)を情報処理装置1300が受信するように構成されている。また、各情報処理装置1200、1300、1400は、無線通信機能を備える送受信機器である。
 以下では、情報処理装置1200と情報処理装置1300間、又は、情報処理装置1400と情報処理装置1300間で無線LANを用いた無線通信を行なう場合を例にとって、通信システム1100の動作について説明する。
 図示の通信システム1100は、P2Pダイレクト通信を用いたマルチソース・トポロジー環境の無線接続を行なうことを想定している。例えば、情報処理装置1200、1400をソース機器とし、情報処理装置1300をシンク機器とする。具体的には、情報処理装置1200の撮像動作により生成された画像データが情報処理装置1300に送信され、その画像データに基づく画像111が情報処理装置1300の表示部1351に表示される。また、情報処理装置1400の記憶部(例えば、ハードディスク)に保存されているコンテンツが情報処理装置1300に送信され、そのコンテンツに基づく画像112が情報処理装置1300の表示部1351に表示される。情報処理装置1300は、操作者などを撮像する撮像部1361を備えていてもよい。
 また、図16では、P2Pダイレクト接続により無線通信を利用して情報処理装置1300が直接通信することができる範囲を、情報伝達範囲1101として示している。この情報伝達範囲1101は、情報処理装置1300を基準とした場合における情報伝達範囲(サービス範囲)である。
 このようなマルチソース・トポロジー環境において、通常モードの端末とアクセシビリティー・モードの端末が混在することが想定される。図14Aには、アクセシビリティー・モード及び通常モードのソース機器がともに1台のアクセシビリティー・モードのシンク機器とやりとりする接続形態を例示している。また、図14Bには、通常モード及びアクセシビリティー・モードのソース機器がともに1台の通常モードのシンク機器とやりとりする接続形態を例示している。
 マルチソース・トポロジー環境は、第1の実施形態として説明したマルチシンク・トポロジー環境とは相違がある。マルチソース・トポロジー環境でも、第1の実施形態と同様に、以下のアプローチ(11)、(12)が可能である。
(11)マルチソースにおいて、シンク機器は、複数のソース機器のモードを一致するよう、各ソース機器へ応答し、各端末のモードを一致するよう、ソース機器に促してから画像転送を開始する。
(12)シンク機器は、上記(11)のような複数のソース機器とのモードを統一するための調停を行なわず、ソース機器から受信したデータに基づいて、自端末が取り扱い可能なデータに変換させて、再生する。
 一方、第1の実施形態との違いは、マルチソース・トポロジー環境では、シンク機器から複数のソース機器に対し、UIBCデータを送信する点である。ソース機器とシンク機器間でやりとりされるUIBCのパケット・フォーマットとして、以下の(21)~(23)を挙げることができる。
(21)ソース機器毎のモードに合うよう、UIBCデータを変換した後に送信する方法
(22)シンク機器では、ソース機器のモードに拘わらず、UIBCデータを送信し、各ソース機器が自端末で理解可能なデータに変換して内部処理する方法
(23)ソース機器、シンク機器を含めすべての機器が切替可能な共通なモードに切り替えた後に送受信する方法
 加えて、マルチソース・トポロジー環境でのユースケースとして、大画面ディスプレイ表示をソース機器の所有者でシェアするケースが考えられる。このユースケースでは、大画面ディスプレイを健常者が操作するケースと障がい者が操作するケースが時分割又は同時に発生する可能性がありえる。そこで、アクセシビリティー・モードのソース機器が接続した場合、シンク機器の表示画面から、アクセシビリティー・モード用操作を行ないたいのか、デフォルトの表示機器が持つ操作を行ないたいのか、切替又は同時利用ができるものとする。なお、シンク機器は、アクセシビリティー・モードの種別を変更する前に、操作しているシンク機器に対し、操作者へ変更が問題ないかを確認するポップアップを表示させるようにてもよい。
 図17には、アクセシビリティー操作とデフォルト操作を指定するボタンを含んだ大画面ディスプレイ1700を例示している。この大画面ディスプレイ1700は、マルチソース・トポロジー環境において、シンク機器として動作するが、例えばタッチパネル式の画面にアクセシビリティー操作ボタン1711とデフォルト操作ボタン1712を備えている。操作者は、アクセシビリティー操作ボタン1711とデフォルト操作ボタン1712のうちいずれかを選択することで、アクセシビリティー・モード用操作を行ないたいのか、デフォルトの表示機器が持つ操作を行ないたいのかを指示することができる。
 さらに、アクセシビリティー操作とデフォルト操作の切り替え又は同時利用によって、操作者が接続中にシンク機器のモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号(前述)を伝送途中で送信又は受信することで、操作者が変更した環境でも、初期動作に戻ることなく、効率良い動作を行なえるものとする。
 また、シンク機器は、ソース機器からの要求に基づいて、シンク機器の表示位置に関する情報を伝送するため、接続途中、UIBCの制御チャネルを、要求があったソース機器に切り替えることもできる。また、ソース機器は、シンク機器からの操作により、ソース機器の表示位置情報を伝送するため、接続途中、UIBCの制御チャネルを、要求があったシンク機器に切り替えることもできる。
[WebSocketを用いたアクセシビリティー・モード用メタデータ伝送の送信例]
 アクセシビリティー・モード用メタデータ回線として、WebSocketの制御回線を用いて、画像データや音声データ、テキスト・データを送受信することも可能である。そこで、以下では、WebSocketの制御回線を用いて画像データや音声データを送受信する例について説明する。
 図15には、第1の実施形態におけるソース機器410とシンク機器420間のWebSocketを用いた画像データ及び音声データの通信処理例を示している。図15Aには、ソース機器410とシンク機器420間における通信処理例を示している。また、図15B及び図15Cには、ソース機器410とシンク機器420間でやりとりされるWebSocketのフレーム・フォーマット例を示している。
 また、図15Aに示す通信処理例では、Wi-Fi CERTIFIED Miracastのソース機器410が、WebSocketのクライアントとして機能し、シンク機器420が、WebSocketのサーバーとして機能する。なお、1台のソース機器と1台のシンク機器が接続するP2P伝送を想定しているため、サーバー及びクライントはどちらでも良いが、複数接続する環境においては、複数端末と接続するGO(グループ・オーナー)がWebSocketのサーバー機能として動作することが望ましい。
 例えば、ソース機器410は、参照番号441で示すように、Host、Sec-WebSocket-Key、Sec-WebSocket-Versionをシンク機器420に送信する。なお、Hostは、WebSocketの接続先を指定するものである。また、Sec-WebSocket-Keyは、ハンドシェイク応答を得るためのものである。また、Sec-WebSocket-Versionは、WebSocketのバージョンを指定するためのものである。
 また、シンク機器420は、ソース機器410から受信したSec-WebSocket-Keyの値に基づいて、Sec-WebSocket-Acceptの値を作成する。そして、シンク機器420は、参照番号442で示すように、作成したSec-WebSocket-Acceptをソース機器410に送信する。ここで、Sec-WebSocket-Acceptは、クライアントとのコネクションを維持するためのものである。
 また、ソース機器410は、図15Bに示すフレーム・フォーマットをシンク機器に送信する。このフレーム・フォーマットでは、送信対象となるデータを、WebSocket Type IDで指定することができる。図15Cには、このWebSocket Type IDの一例を示している。
 また、図15A中の参照番号443で示すように、ソース機器410とシンク機器420間で、WebSocketのバイナリー・データとして画像データや音声データをやりとりする。
 例えば、FINが0x0のときは、ペイロードが続くため、シンク機器420は直前のデータと連結する。また、FINが0x1のときは、ペイロードが終了したフラグであるため、シンク機器420はペイロードの処理を行なう。
 また、例えば、RSVは、拡張ビットである。
 また、例えば、opcodeが0x0のときは、ペイロードが続くため、シンク機器420は直前のデータと連結する。また、opcodeが0x1のときは、ペイロードがテキストであり、opcodeが0x2のときは、ペイロードがバイナリーであることを意味する。
 また、例えば、MASKは、メッセージがエンコードされているかを示すビットである。なお、ソース機器410からシンク機器420へのメッセージは、常にエンコードされている。
 このように、opcodeのバイナリーを用いると、ソース機器410とシンク機器420間で、WebSocketのバイナリー・データとして画像データや音声データのやりとりが可能となる。すなわち、WebSocket規格フォーマットを用いて、画像データ及び音声データを伝送することができる。このため、事前認証を画像データや音声データで行なうことができる。また、それ以外の各種のユースケースに対応することができる。
 また、ソース機器とシンク機器間での画像データ及び音声データのやりとりを、Wi-Fi CERTIFIED Miracast規格の画像伝送を行ないつつ、WebSocketを利用しても行なうことができる。また、操作用メタデータのやりとりにWebSocketを利用してもよい。
 このように、シンク機器としての情報処理装置300の制御部370は、WebSocketを利用してソース機器から送信された画像情報及び音声情報を取得することができる。また、制御部370は、その画像情報に基づく画像を表示部351に表示させ、その音声情報に基づく音声を音声出力部352から出力させることができる。
 このように、第2の実施形態では、ソース機器のアクセシビリティー・モード用操作は、シンク機器で受け付けることができる。すなわち、ソース機器からの画像、音声、テキスト、操作用補助情報をシンク機器側の表示部又はスピーカーに表示する環境において、安定して動作させることができ、リアルタイム性がある接続制御の操作を行なうことができる。
 また、ソース機器における各画像の表示位置をリアルタイムでシンク機器に通知することで、ソース機器からアクセシビリティー・モード用メタデータによって、表示位置を制御することができる。また、UIBC及びWebSocketを利用してアクセシビリティー・モード用メタデータの表示位置に関する情報のやりとりを同時に行なうことができる。
[第3の実施形態]
[通信システム構成]
 図19には、本明細書で開示する技術の1つの実施形態に係る通信システムの構成例を模式的に示している。同図に示す通信システム1900は、それぞれ無線通信機能を備える2台の情報処理装置200、300で構成され、これらの装置同士がP2Pダイレクト通信により無線接続を行なうことを想定している。具体的には、情報処理装置200から送信されるデータ(例えば、画像データや音声データ)を情報処理装置300が受信する。
 通信システム1900を構成する情報処理装置200、300は、例えば、無線通信機能を備える表示装置(例えば、パーソナルコンピュータ)や携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)である。また、情報処理装置200、300は、例えば、IEEE802.11、IEEE802.15、IEEE802.16、3GPP仕様(例えば、W-CDMA、GSM(登録商標)、WiMAX、WiMAX2、LTE、LTE-Aに準拠した無線通信装置である。そして、情報処理装置200、300は、無線通信機能を利用して各種情報のやりとりを行なうことができる。
 情報処理装置200及び情報処理装置300間で、例えば、Wi-Fi Direct、TDLS、アドホック・ネットワーク、メッシュ・ネットワークなどの無線LANを用いた無線通信を行なうことができる。
 また、通信システム100に用いられる近距離無線AV伝送通信として、例えば、Wi-Fi CERTIFIED Miracast(前述)を用いることができる。Wi-Fi CERTIFIED Miracastでは、TCP/IP上でUIBC(前述)を実現している。なお、Wi-Fi CERTIFIED Miracastの代わりに、他のリモート・デスクトップ・ソフトウェア(例えば、VNC)を適用するようにしてもよい。
 本実施形態に係る通信システム100では、一方の情報処理装置200をソース機器とし、他方の情報処理装置300をシンク機器とする。例えば、情報処理装置200の撮像動作により生成された画像データが情報処理装置300に送信され、その画像データに基づく画像が情報処理装置300で表示される。以下では、情報処理装置200が撮像動作により生成された画像データ及び音声データを送信対象とする例や、情報処理装置200がハード・ディスクなどの記憶装置に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)を送信対象とする例を示す。
 なお、情報処理装置200として、カメラを搭載した電子機器(例えば、パソコン、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置300として、表示部を備える他の電子機器(例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置200がテザリング機能を備える場合には、無線又は有線ネットワークを介してISPに保存されたコンテンツを送信対象とするようにしてもよい。
 また、図19に示す通信システム1900では、P2Pダイレクト接続により、無線通信を利用して情報処理装置300が直接通信することができる範囲を情報伝達範囲101として示す。この情報伝達範囲101は、情報処理装置300を基準とした場合における情報伝達範囲(サービス範囲)である。
 本実施形態に係る通信システム1900において、ソース機器として動作する情報処理装置200の機能的構成例は図2と同様であり、また、シンク機器として動作する情報処理装置300の機能的構成は図3と同様である。ここでは、各情報処理装置200、300の機能的構成についての詳細な説明を省略する。また、本実施形態におけるソース機器410とシンク機器420間のWi-Fi CERTIFIED Miracast仕様コマンドを用いた接続シーケンスも、図4と同様なので、ここでは詳細な説明を省略する。
[想定される接続形態]
 ソース機器としての情報処理装置200とシンク機器としての情報処理装置300がP2Pダイレクト通信により無線接続を行なう通信システム100において、想定される接続形態を図20~図22に示す。
 図20には、アクセシビリティー・モードのソース機器とアクセシビリティー・モードのシンク機器の間でやりとりする接続形態を示している。また、図21には、通常モードのソース機器とアクセシビリティー・モードのシンク機器の間でやりとりする接続形態を示している。また、図22には、アクセシビリティー・モードのソース機器と通常モードのシンク機器の間でやりとりする接続形態を示している。
 図20に示す接続形態において、ソース機器とシンク機器のアクセシビリティー・モードの種別が一致していることを前提として、ソース機器とシンク機器間における通信処理について説明する。
 ソース機器がシンク機器へ伝送する映像や音声をソース機器が操作する場合、通常のコンテンツ・データの伝送の他に、アクセシビリティー・モード用メタデータとして、上記視覚サポート、聴覚サポート、身体機能(操作困難)サポートから現在設定されている情報を別途送信する。
 これに対し、シンク機器は、ソース機器からコンテンツ・データを受信すると同時に、アクセシビリティー・モード用メタデータを受信し、シンク機器内部の制御によって、適宜、最適な表示を行なう。
 一方、ソース機器から伝送する映像や音声をシンク機器が操作する場合、シンク機器は、上記閲覧保障性に対応した操作情報をそのままソース機器へ送信する。従来のUIBCと同等の機能であるが、閲覧保障性を考慮することで、UIBCのデータ種別が、音声や映像やテキスト情報も含まれるもの(操作用メタデータ)とする。
 これに対し、ソース機器は、上記コンテンツ・データとアクセシビリティー・モード用メタデータをシンク機器へ送信するのとは別に、シンク機器から、シンク機器の操作情報をシンク機器のアクセシビリティー・モード用操作情報として受信し、受信した操作情報通りの動作を行なう。
 なお、操作者が接続中に変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を持ってもよい。例えば、ソース機器とシンク機器間でモード・エックスチェンジ用メッセージがやりとりされると、現在送受信中の無線映像伝送を切断させることなく、通常モードとアクセシビリティー・モード、又は、アクセシビリティー・モードの種別を変更することが可能となる。
 続いて、図21又は図22に示すように、ソース機器とシンク機器でモードが一致していないことを前提として、ソース機器とシンク機器間における通信処理について説明する。
 図21に示す接続形態において、ソース機器がシンク機器へ伝送する映像や音声をソース機器が操作する場合、ソース機器は、操作によって作成された映像、音声、テキストを基に、シンク機器が操作可能なコンテンツ・メディアに変換してから送信を行なう。例えば、聴覚サポートのアクセシビリティー・モードの場合、ソース機器は、映画、ビデオ鑑賞コンテンツについては、字幕データをテキストとして送信し、音声の音量を調整したり、シンク機器側でも着信をLEDフラッシュが実現できるよう、制御データをシンク機器へ伝送する処理を行なう。
 これに対し、シンク機器は、ソース機器からアクセシビリティー・モード用コンテンツ・データを受信し、適宜、最適な表示を行なう。
 一方、ソース機器から伝送する映像や音声をシンク機器が操作する場合、シンク機器は、上記閲覧保障性に対応した操作情報をそのままソース機器へ送信する。従来のUIBCと同等の機能であるが、閲覧保障性を考慮することで、UIBCのデータ種別が、音声や映像やテキスト情報も含まれるもの(操作用メタデータ)とする。
 これに対し、ソース機器は、上記コンテンツ・データをシンク機器へ送信するのとは別に、シンク機器から、シンク機器の操作情報をシンク機器のアクセシビリティー・モード用操作情報として受信すると、受信した操作情報を通常モードの操作用データとして変換して処理を行なう。
 なお、本実施形態に係る通信システム100で可能な通信動作は上記に限らないものとする。例えば、上記説明では、ソース機器側でアクセシビリティー・モードに合ったデータとして送受信しているが、それに限らず、例えば、シンク機器側で通常モードに変換できるようにしてもよい。特に、操作用データはタップの扱いが異なるため、モードがソース機器とシンク機器間の異なる伝送ではタップの変換操作が必須となる。とりわけ、身体機能(操作困難)サポートにおいて、シンク機器の操作者がユーザー独自の操作を登録した場合、ソース機器では解釈できないため、シンク機器で通常モードでも理解できるように、タップやジェスチャー操作に切り替えて、伝送するのが適している。
 図22には、アクセシビリティー・モードのソース機器と通常モードのシンク機器の間でやりとりする接続形態を示しているが、図21に示した接続形態の場合と同様に変換処理が必要となる。
 図22に示す接続形態において、ソース機器がシンク機器へ伝送する映像や音声をソース機器が操作する場合、ソース機器は、通常のコンテンツ・データの伝送を行なう。これに対し、シンク機器は、ソース機器からコンテンツ・データを受信すると、適宜、最適な表示を行なう。
 一方、ソース機器から伝送する映像や音声をシンク機器が操作する場合、シンク機器は、操作情報をそのままソース機器へ送信する。これに対し、ソース機器は、上記コンテンツ・データとアクセシビリティー・モード用メタデータをシンク機器へ送信するのとは別に、シンク機器から、シンク機器の操作情報を閲覧保障性に対応した操作情報に変換し、変換後の操作情報に従って動作を行なう。
 あるいは、ソース機器から伝送する映像や音声をシンク機器が操作する場合、シンク機器は、操作情報を閲覧保障性に対応した操作情報に変換した後に、ソース機器へ送信する。閲覧保障性に対応した操作情報は、従来のUIBCと同等の機能であるが、閲覧保障性を考慮することで、UIBCのデータ種別が、音声や映像やテキスト情報も含まれるもの(操作用メタデータ)とする。これに対し、ソース機器は、上記コンテンツ・データとアクセシビリティー・モード用メタデータをシンク機器へ送信するのとは別に、シンク機器から、シンク機器の操作情報をシンク機器のアクセシビリティー・モード用操作情報として受信し、受信した操作情報通りの動作を行なう。
 図21又は図22に示した接続形態において、ソース機器は、通信相手であるシンク機器がアクセシビリティー・モードの場合、ポップアップ表示などを通じて、アクセシビリティー・モード用メタデータを生成する必要があることを当該ソース機器の操作者に通知するようにしてもよい。また、そのポップアップ表示などで、シンク機器に送信するアクセシビリティー・モード用メタデータのメディア種別を表示して、メタデータの変換を行なってよいかどうかを操作者に確認するようにしてもよい。
 また、シンク機器は、通信相手であるソース機器がアクセシビリティー・モードの場合、ポップアップ表示などを通じて、アクセシビリティー・モード用メタデータを再生する必要があることを当該シンク機器の操作者に通知するようにしてもよい。
 また、図21や図22に示すように、ソース機器とシンク機器のうちいずれか一方のみがアクセシビリティー・モードの場合には、ソース機器側から送信されるアクセシビリティー・モード用メタデータのメディア種別に対応するメディア再生機能がオフになっていることも想定される。このような場合、シンク機器において、ソース機器から送られてくるアクセシビリティー・モード用メタデータのメディア種別を表示して、メディア再生をオンにしてもよいかどうかを操作者に確認するようにしてもよい。
 図20~図22に示した接続形態において、ソース機器410は、シンク機器420がアクセシビリティー・モードに対応しているかどうかを確認するやりとりを行なっている。具体的にMiracastでの処理を用いて、シンク機器420がアクセシビリティー・モードに対応しているかどうかを確認する方法について、図7(前述)を参照しながら説明する。この方法によって、聴覚、視覚、身体機能(操作困難)のうちどのアクセシビリティー・モードが選択されているかをソース機器410側で判断できるかを確認することが可能となる。
 図7中の点線の矩形430内に示すように、シンク機器420は、ソース機器410からのRTSP GET_PARAMETERRequestに従って、シンク機器420側に設定しているアクセシビリティー能力を、GET_PARAMETER Responseで返信している。図9では、このGET_PARAMETER Responseの返信内容の一例を示している。
 ソース機器410は、受信したアクセシビリティー能力(Capability情報)を基に、ソース機器410からシンク機器420に送信するためのメタデータを選択し、送信する。
 ソース機器410がシンク機器420とアクセシビリティー能力をやりとりするメッセージにおいて、Miracast規格上で実現する場合のメッセージの一例として、上記の表1に挙げたものを使用するものとする。
 加えて、図20から図22に示す接続形態において、ソース機器とシンク機器間でモード又はアクセシビリティー・モードの種別が異なる場合、アクセシビリティー・モードの種別を変換し、機器間で操作方法を理解できるようにする。ソース機器とシンク機器のモード又はアクセシビリティー・モードの種別が異なる場合、機器間で操作方法を理解できるように、ソース機器又はシンク機器のいずれかでアクセシビリティー・モードの種別を変換するようにし、モードを一致させてもよい。
 アクセシビリティー・モード用メタデータを設定する場合、M3メッセージ(RTSP GET_PARAMETER)により、ソース機器410及びシンク機器420間でWfd-accessibility-capabilityのやりとりを行なう。このやりとりは、シンク機器420がアクセシビリティー・モード用メタデータ機能を内蔵しているか否かを、ソース機器410が確認することが目的である。
 図7に示した通信シーケンス中のCapability NegotiationのRTSP M3の各メッセージにおいて、図9のアクセシビリティー対応要求のビット・アサインが同時に立ち上がっているモードを、ソース機器410はシンク機器420が設定可能なアクセシビリティー・モードと判断する。具体的には、ビット0は、シンク機器420がアクセシビリティー・モードに対応している機器かどうかを示す。ビット[14:1]はビット0が”1”(アクセシビリティー・モード On)のときに各ビットが有効になり、ビット[4:1]はアクセシビリティー・モードの種別を示す。本ビット領域は、ビット[14:5]の対応方法に含まれない操作が必要な場合、種別を示すことで、想定される操作用データを全て生成するなどの対応を可能させることができるが、すべての判断をビット[14:5]で行ない、ビット[4:1]を省略してもよい。
 例えば、ビット0が”1”(アクセシビリティー・モード On)の前提で、S601のメッセージでシンク機器420から示されるWfd-accessibility-capability Response情報[14:5]が0000000101となった場合、1ビット目(図9に示すビット・アサインでは「視力なしで操作可能」に対応)と3ビット目(図9に示すビット・アサインでは「弱視且つ難聴で操作可能」に対応)が“1”になっている。アクセシビリティー・モード用メタデータとして、図8に対応動作例を示している。ソース機器410は、例えば、以下のような情報をアクセシビリティー・モード用メタデータとして生成可能かどうかを判断する。
・報知音声、点字ディスプレイ用データ、操作用音声
・文字サイズ、画面拡大レベル、コントラスト変更に関する情報
 そして、ソース機器410は、上記2つのアクセシビリティー・モード用メタデータとのうちどちらかを生成可能と判断することができた場合、Wfd-accessibility-settingとして、該当するアクセシビリティー・モードを設定するようにする。
 本実施形態に係る通信システム1900では、図10及び図11(前述)に示した通信シーケンス例に従って、ソース機器410とシンク機器420間がアクセシビリティー・モードに対応しているかどうかを、接続時のCapabilityNegociationで確認して、アクセシビリティー・モードの設定のための通信処理を行なうことができる。また、アクセシビリティー・モード用メタデータ回線をEnableにすることで、各アクセシビリティー・モード種別におけるシンク機器の動作例は、図12を参照しながら既に説明した通りである。
 図23及び図24には、ソース機器がアクセシビリティー・モード用メタデータ回線のCapability Negotiationを開始し、ソース機器200がシンク機器300と映像伝送を開始するまでの動作手順をフローチャートの形式で示している。
 まず、ソース機器200の制御部240は、シンク機器300との間でCapability Negotiationを開始する(ステップS802)。
 次いで、制御部240は、シンク機器300との間で接続可能なアクセシビリティー・モードを確認した後、シンク機器300にアクセシビリティー・モードでの動作を要求するか否かを判断する(ステップS803)。シンク機器300にアクセシビリティー・モードでの動作を要求しない場合には(ステップS803のNo)、ソース機器200は、通常モードでシンク機器300との通信を開始する(ステップS804)。
 一方、シンク機器300にアクセシビリティー・モードでの動作を要求する場合には(ステップS803のYes)、ソース機器200は、シンク機器300で対応可能なアクセシビリティー・モードの種別をさらに確認する(ステップS805)。アクセシビリティー・モードの種別を確認する必要がない、又は種別情報が含まれていない場合には(ステップS806のNo)、アクセシビリティー・モードの中で最も優先度が高いモードが選択される。同図では、視覚サポート、聴覚障がい、操作困難の順で優先度が高いというケースを示しており、視覚サポートのモードが選択される。
 また、デフォルトのアクセシビリティー・モードを持ち、アクセシビリティー・モードの種別を確認する場合には(ステップS806のYes)、ソース機器200は、アクセシビリティー・モードの中で最も優先度が高いモードかどうかの確認を行なう。最も優先度が高いモードでない場合、その他のモードかどうかの確認をさらに行なう。同図では、視覚サポート、聴覚障がい、操作困難の順で優先度が高いというケースを示している。ソース機器200は、シンク機器300から受信したCapability情報に基づいてアクセシビリティー・モードが視覚サポートか、聴覚サポートか、身体(操作困難)サポートかを順に判断する(ステップS807、S809、S811)。
 アクセシビリティー・モードが視覚サポートの場合(ステップS807のYes)、ソース機器200は、アクセシビリティー・モード用メタデータとして、コンテンツ・メディア伝送に同期した音声の提供(例えば、アプリ内容の読み上げる処理)や、操作者がタップしたときに選択した選択されたアイコン名称を音声にて提供する処理をシンク機器へ伝送する(ステップS808)。なお、音声提供方法は、アクセシビリティー・モード用コンテンツ・メディアの音声の一部として提供することも、アクセシビリティー・モード用メタデータとして音声を挿入してもどちらでも良いものとする。
 また、アクセシビリティー・モードが聴覚サポートの場合(ステップS809のYes)、ソース機器200は、アクセシビリティー・モード用メタデータとして、コンテンツ・メディア伝送に同期した字幕の提供や、操作者がセットした音声通知をLEDフラッシュに変換してシンク機器へ伝送する(ステップS810)。映画、ビデオ、Podcastを視聴するときは、字幕表示に変更する。なお、字幕やLEDフラッシュの提供方法は、アクセシビリティー・モード用コンテンツ・メディアのメタデータの一部として提供することも、アクセシビリティー・モード用メタデータとして提供してもどちらでも良いものとする。
 また、アクセシビリティー・モードが身体(操作困難)サポートの場合(ステップS811のYes)、ソース機器200は、独自に作ったジェスチャー操作のデータを、シンク機器300が理解できるポインティングへ変換した後、シンク機器300へ送信する処理を行なう(ステップS812)。
 ステップS813は本動作フローを終了するステップである。なお、図23及び図24に示したフローチャートでは、視覚障がい、聴覚障がい、身体(操作困難)についてのアクセシビリティー・モード用メタデータに変換していたが、それだけに限らない。例えば、図8に示した対応動作をアクセシビリティー・モード用メタデータとして変更するようにしてもよい。
 なお、ソース機器200とシンク機器300間において、端末のモード又はアクセシビリティー・モードの種別が異なる場合には、ソース機器200又はシンク機器300でアクセシビリティー・モードの種別を変換するようにし、モードを一致させてもよい。
 上記のステップS808、S810、S812などにおいて、ソース機器200は、通信相手であるシンク機器300がアクセシビリティー・モードの場合、ポップアップ表示などを通じて、アクセシビリティー・モード用メタデータを生成する必要があることを当該ソース機器200の操作者に通知するようにしてもよい。また、そのポップアップ表示などで、シンク機器に送信するアクセシビリティー・モード用メタデータのメディア種別を表示して、メタデータの変換を行なってよいかどうかを操作者に確認するようにしてもよい。
 また、シンク機器300は、通信相手であるソース機器200がアクセシビリティー・モードの場合、ポップアップ表示などを通じて、アクセシビリティー・モード用メタデータを再生する必要があることを当該シンク機器300の操作者に通知するようにしてもよい。
 また、ソース機器200とシンク機器300のうちいずれか一方のみがアクセシビリティー・モードの場合には、ソース機器200側から送信されるアクセシビリティー・モード用メタデータのメディア種別に対応するメディア再生機能がオフになっていることも想定される。このような場合、シンク機器300において、ソース機器300から送られてくるアクセシビリティー・モード用メタデータのメディア種別を表示して、メディア再生をオンにしてもよいかどうかを操作者に確認するようにしてもよい。
 このように、情報処理装置(ソース機器)200の無線通信部220は、Wi-Fi CERTIFIED Miracast仕様に従ってシンク機器300との間でリアルタイム画像伝送を行なう。また、制御部240は、ソース機器200から送信された画像情報に基づく画像を表示部(図2では省略)に表示させ、その画像に関するアクセシビリティー・モード用メタデータをシンク機器300との間でやりとりするための複数の通信方式(UIBC、WebSocket)に使用されるポートでの制御を行なう。この場合に、例えば、制御部240は、シンク機器300との間で生成されたTCPセッション上でポートを設定する場合に、ポートを使用する複数の通信方式を指定する情報(例えば、図15(後述)で説明する各情報)をシンク機器に送信する。
 また、制御部240は、複数の通信方式に使用されるポートとして複数の通信方式毎に複数のポートを設定することができる。この場合には、制御部240は、ソース機器からの要求に応じて複数のポートを設定することができる。
 また、制御部240は、複数の通信方式に使用されるポートとして複数の通信方式について1つのポートを設定することができる。
 また、例えば、情報処理装置200の制御部240は、シンク機器300側の表示部に画像を表示させるための画像情報をシンク機器300に送信する。また、制御部240は、その画像に関する制御情報をシンク機器300との間でやりとりするための複数の通信方式に使用されるポートを設定する制御を行なうことができる。
 また、シンク機器300は、ソース機器200からの要求に基づいて、シンク機器300の表示位置に関する情報を伝送するため、接続途中、UIBCの制御チャネルを、要求があったソース機器200に切り替えることもできる。また、ソース機器200は、シンク機器300からの操作により、ソース機器200の表示位置情報を伝送するため、接続途中、UIBCの制御チャネルを、要求があったシンク機器300に切り替えることもできる。
 なお、本実施形態に係る通信システム1900では、アクセシビリティー・モード用メタデータ回線として、WebSocketの制御回線を用いて、画像データや音声データ、テキスト・データを送受信することも可能である。例えば、図15Aに示した通信シーケンス(前述)に従って、ソース機器410とシンク機器420間のWebSocketを用いた画像データ及び音声データの通信処理を実施することが可能である。この通信シーケンスでは、図15B及び図15Cに示したWebSocketのフレーム・フォーマット(前述)を用いて、ソース機器410とシンク機器420間でやりとりされる。
 opcodeのバイナリーを用いると、ソース機器410とシンク機器420間で、WebSocketのバイナリー・データとして画像データや音声データのやりとりが可能となる。すなわち、WebSocket規格フォーマットを用いて、画像データ及び音声データを伝送することができる。このため、事前認証を画像データや音声データで行なうことができる。また、それ以外の各種のユースケースに対応することができる(同上)。
 また、ソース機器とシンク機器間での画像データ及び音声データのやりとりを、Wi-Fi CERTIFIED Miracast規格の画像伝送を行ないつつ、WebSocketを利用しても行なうことができる。また、操作用メタデータのやりとりにWebSocketを利用してもよい。
 このように、シンク機器としての情報処理装置300の制御部370は、WebSocketを利用してソース機器から送信された画像情報及び音声情報を取得することができる。また、制御部370は、その画像情報に基づく画像を表示部351に表示させ、その音声情報に基づく音声を音声出力部352から出力させることができる。
 このように、本実施形態では、ソース機器のアクセシビリティー・モード用操作は、シンク機器で受け付けることができる。すなわち、ソース機器からの画像、音声、テキスト、操作用補助情報をシンク機器側の表示部又はスピーカーに表示する環境において、安定して動作させることができ、リアルタイム性がある接続制御の操作を行なうことができる。
 また、ソース機器における各画像の表示位置をリアルタイムでシンク機器に通知することで、ソース機器からアクセシビリティー・モード用メタデータによって、表示位置を制御することができる。また、UIBC及びWebSocketを利用してアクセシビリティー・モード用メタデータの表示位置に関する情報のやりとりを同時に行なうことができる。
 上記の説明では、ソース機器とシンク機器間でCapability Negotiationによって、アクセシビリティー・モード種別を判断していたが、その他でもよい。例えば、Device Discovery又はService Discoveryを用いてもよい。Device Discovery又はService Discoveryの制御方法として、以下の(C1)~(C4)のいずれか1つ以上のやりとりを行なう。
(C1)P2P IE(Information Element)
(C2)WFD IE(Information Element)
(C3) ASP(Application Service Platform)
(C4)UPnP(Universal Plug and Play)標準でのプロトコル
 Device Discovery又はService Discoveryの制御方法の一例について、図25を参照しながら説明しておく。
 情報処理装置710(ソース機器)は、Probe Requestを送信して、P2P接続可能な情報処理装置720(シンク機器)をサーチする。例えば、情報処理装置720(シンク機器)がP2P接続可能な装置である場合には、Probe Responseを受信することにより、P2P接続で使用する周波数チャネルを検出することが可能となる。ここでは、情報処理装置720(シンク機器)がP2P接続可能な機器であることを想定し、Probe Responseを受信できたことを前提にして説明する。
 上述した処理によって、図25において、情報処理装置710(ソース機器)は、情報処理装置720(シンク機器)とP2P接続するための周波数チャネルを把握し、P2P接続のコネクションを確立する。そして、P2P接続のコネクションを確立した後、情報処理装置710(ソース機器)は、情報処理装置720(シンク機器)とTCPコネクション又はRTSPコネクションのリンクをさらに確立した後に、上述した(C1)乃至(C4)の何れか1つ以上のやりとりを行なう。
 ここでは、Probe RequestやProbe Responseのペイロード部分にWFD IEをカプセル化させ、やりとりする方法について説明する。
 図26~図30には、上述した(C2)のWFD IEを用いたフォーマット例を示している。このうち図26乃至図28は、既にMiracast Release1で割り当てられているフォーマットである。但し、図28に示すSubelementID(11)に、新規のビットを割り当てる。具体的には、このSubelement ID(11)に対応する新規Fieldについては、図29、図30に示す。
 図28において、New Device Informationフィールドの[5:0]は、情報処理装置720(シンク機器)がP2P接続において、最適な周波数チャネルを判断するための情報である。
 上述した(C1)乃至(C3)のいずれか1つを用いたシーケンスの過程で、情報処理装置710(ソース機器)は、各情報を把握することにより、情報処理装置720(シンク機器)とのP2P接続において、最適な周波数チャネルを判断することができる。例えば、アクセスポイント701(図示しない)及び情報処理装置720(シンク機器)間のアソシエイトされた周波数情報(図30に示す[23:14]のフィールド)を用いることができる。また、例えば、情報処理装置720(シンク機器)の無線回線のコンカレント情報(図30に示す[5:2]のフィールド)を用いることができる。このコンカレント情報は、例えば、同じ周波数チャネルの時分割接続、違う周波数チャネルの時分割接続、同じ周波数チャネルの同時接続、違う周波数チャネルの同時接続等の接続形態が可能か否かを示す情報である(図30に示す[5:2]のフィールド)。また、例えば、無線機能としての端末能力(図21に示す[13:8]のフィールド)を用いることができる。
 また、アクセスポイント701が外部にあり、情報処理装置710(ソース機器)は、アクセスポイント701経由で情報処理装置720(シンク機器)と通信を行なう可能性もある。その場合、アクセスポイント701と情報処理装置720(シンク機器)間がEthernet(登録商標)ケーブルやUSBケーブル・コネクタのように有線接続又はコネクタ接続されている場合もある。こういったトポロジにも対応するため、情報処理装置720(シンク機器)が、アクセスポイント701との接続が有線であること(図30に示す[1:0])と、P2P接続用無線を備えるか否かを情報処理装置710(ソース機器)に通知する。これにより、情報処理装置710(ソース機器)は、最適な周波数チャネルを判断することができる。例えば、情報処理装置720(シンク機器)が、有線回線にのみ対応する場合には、P2P接続へ移行せずにそのままアクセスポイント701と接続する。一方、情報処理装置720(シンク機器)が、無線回線にも対応する場合には、サポートする周波数チャネルの1つを選択して接続することが可能である。
 以上が、Probe RequestやProbe Responseのペイロード部分にWFD IEをカプセル化させた例であるが、本明細書で開示する技術はこれに限定されない。
 例えば、Wi-Fi Direct ServicesのDisplayServiceを使う場合には、ASP準拠のメッセージを介してデバイス間でService Capability情報を交換することができる。具体的には、WFD IEに含まれる情報を、4ビット毎に区切って16進数にしたものをtext stringとしたものを送受信する。さらに、WFD IEに含まれる情報は現時点の仕様に限らない。例えば、図31に示すServiceCapability情報をASPメッセージ中のペイロードに含むようにしてもよい。
 なお、アソシエイトされた周波数情報、デバイスのコンカレント情報のネゴシエーションは、Device Discovery又はService Discoveryの処理の一貫として行なうようにしてもよい。また、アソシエイトされた周波数情報、デバイスのコンカレント情報のネゴシエーションは、伝送途中に周波数チャネル変更が必要な際に再ネゴシエーションしてもよい。さらに、ネゴシエーションの開始時に、上述した(C1)乃至(C4)のいずれのやりとりが可能かを、情報処理装置710(ソース機器)及び情報処理装置720(シンク機器)間でネゴシエーションし、どの方法で情報のやりとりを行なうかを選択するようにしてもよい。
 また、上述した各処理では、情報処理装置710(ソース機器)は、Probe Responseを受信した後、P2P接続リンクのTCPコネクション又はRTSPコネクションをさらに確立した後に上述した(C1)~(C4)を行なう例を示した。但し、P2P接続リンクを確立する前に、アクセスポイント701を経由して、情報処理装置710(ソース機器)及び情報処理装置720(シンク機器)が接続されたTCPコネクション又はRTSPコネクションを用いて、WFD IEを含むProbe RequestとProbe Responseのやりとりを行なうようにしてもよい。また、この例では、情報処理装置710(ソース機器)が主導して行なう例を示したが、情報処理装置720(シンク機器)が主導して行なうようにしてもよい。
 また、上述した各処理にかかわらず、上述したProbe RequestにP2P接続するための周波数が記載されており、情報処理装置720(シンク機器)からのProbe Responseを返信する周波数チャネルはProbe Requestが使用した周波数チャネルでなくてもよい。また、受信はP2P接続経由で行なうようにしてもよい。
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書で開示する技術によれば、マルチシンク・トポロジー環境において、ソース機器は、複数のシンク機器のモードを管理し、ケースによっては一致させる要求を行なうことで、アクセシビリティー・モード用メタデータの伝送を効果的に行なうことができる。
 また、モード変更時に、事前に操作者へモード変更確認を行なうことで、操作変更を操作者が理解でき、モード変更に伴う操作違いを極力操作者が把握できるようにすることができる。
 また、本明細書で開示する技術によれば、マルチシンク・トポロジー環境において、ソース機器は、複数のシンク機器のモードの調停を行なうことで、各端末が自端末のモードとの管理、やりとりを最低限に済ませることができる。
 また、本明細書で開示する技術によれば、マルチキャスト・パケット又はユニキャスト・パケットを用いた、帯域制御を行なうことができる。
 また、本明細書で開示する技術によれば、マルチシンク・トポロジー環境において、ソース機器は、シンク機器のデータ変換を最小限に抑えることができる。
 また、本明細書で開示する技術によれば、シンク機器を操作する操作者が障がい者であっても、シンク機器からソース機器を操作できるモード選択UIを設けて、リモート操作をすることができる。
 また、本明細書で開示する技術によれば、マルチソース・トポロジー環境において、操作方法が異なるソース機器との接続を行なう際に、シンク機器からの共通操作から、ソース機器毎の変換処理を行ない、リモート操作を行なうことができる。
 また、本明細書で開示する技術によれば、接続中のソース機器又はシンク機器の操作者が変更した場合でも、初期動作に戻ることなく、効率良い動作を行なうことができる。マルチソース・トポロジー環境において、シンク機器は、複数のソース機器のモードを一致させるよう、Capability Negotiation管理を行なうことができる。
 また、本明細書で開示する技術は、それぞれソース機器並びにシンク機器として動作する情報処理装置同士がP2Pダイレクト通信により無線接続を行ない、画像伝送を行なうさまざまなタイプの通信システムに適用することができる。
 このような通信システムにおいて、ソース機器がシンク機器の現在の動作モードを把握することにより、画像伝送を行なうコンテンツ・メディアに影響されることなく、適切なアクセシビリティー・モード用操作メタデータを選択し送信することが可能となる。
 また、ソース機器とシンク機器が接続前のやりとりで把握することで、伝送が必要ないメディアをオフにすることで、帯域を効率的に使用することができる。
 また、相手端末の操作者に通知する手段を設けることで、操作者が次端末の設定を変更することができる。
 また、操作者が変更した環境でも、初期動作に戻ることなく、効率良い動作を行なうことができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)複数のシンク機器との間でソース機器として無線通信する無線通信部と、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のシンク機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、前記複数のシンク機器のアクセシビリティー・モードの種別を管理する、
情報処理装置。
(2)前記制御部は、前記複数のシンク機器のアクセシビリティー・モードの調停を行なってから、コンテンツ・データの伝送を開始させる、
上記(1)に記載の情報処理装置。
 上記(1)又は(2)に記載の情報処理装置は、マルチシンク・トポロジー環境において、複数のシンク機器のモードを管理し、ケースによっては一致させる要求を行なうことで、アクセシビリティー・モード用メタデータの伝送を効果的に行なうことができる。
(3)前記制御部は、アクセシビリティー・モードへ変更するシンク機器に対し、操作者へ変更が問題ないかを確認するポップアップを表示させる、
上記(2)に記載の情報処理装置。
 上記(3)に記載の情報処理装置によれば、モード変更時、事前に操作者へモード変更確認を行なうことで、操作変更を操作者が理解でき、モード変更に伴う操作違いを極力ユーザーが把握できることができる。
(4)前記制御部は、アクセシビリティー・モードのシンク機器と接続することを把握し、これから接続するアクセシビリティー・モード種別の論理和をとった結果に基づいて、必要なアクセシビリティー・モード用メタデータを送信させる、
上記(1)に記載の情報処理装置。
 上記(4)に記載の情報処理装置によれば、マルチシンク・トポロジー環境において、複数のシンク機器のモードの調停を行ない、各端末が自端末のモードとの管理、やりとりを最低限に済ませることができる。
(5)前記制御部は、アクセシビリティー・モード用メタデータをマルチキャスト・パケット又はユニキャスト・パケットのうちいずれかで送信させる、
上記(4)に記載の情報処理装置。
(6)前記制御部は、前記複数のシンク機器を同じアクセシビリティー・モード種別毎にグループ化して、グループ毎に対応したアクセシビリティー・モード用メタデータを送信させる、
上記(1)に記載の情報処理装置。
 上記(6)に記載の情報処理装置によれば、シンク機器のデータ変換を最小限に抑えることができる。
(7)前記制御部は、アクセシビリティー・モード用メタデータをマルチキャスト・パケット又はユニキャスト・パケットのうちいずれかで送信させる、
上記(6)に記載の情報処理装置。
(8)ソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記制御部は、前記ソース機器から受信した複数のアクセシビリティー・モード用メタデータのうち再生可能なメタデータのみを抽出して再生処理する、
情報処理装置。
(9)他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信部と、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、アクセシビリティー・モードで接続することを前記シンク機器に通知させる、
情報処理装置。
 上記(9)に記載の情報処理装置によれば、シンク機器を操作する操作者が障がい者であっても、シンク機器からソース機器を操作できるUIを設けることができる。
(10)複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
 アクセシビリティー向けの操作と通常向けの操作のいずれかを選択するユーザー・インターフェース部と、
を具備する情報処理装置。
 上記(10)に記載の情報処理装置によれば、シンク機器を操作する操作者が障がい者であっても、シンク機器からソース機器を操作できるUIを設けることができる。
(11)複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、前記複数のソース機器へUIBCデータを送信させる、
情報処理装置。
(12)前記制御部は、ソース機器毎のモードに合うようにUIBCデータを変換した後に送信させる、
上記(11)に記載の情報処理装置。
(13)前記制御部は、ソース機器のモードに拘わらずUIBCデータを送信させる、
上記(11)に記載の情報処理装置。
(14)前記制御部は、すべての機器が切り替え可能な共通のモードに切り替えた後にUIBCデータを送信させる、
上記(11)に記載の情報処理装置。
 上記(11)乃至(14)に記載の情報処理装置によれば、操作方法が異なるソース機器との接続においても、シンク機器からの共通操作から、ソース機器ごとの変換処理を行い、リモート操作を行なうことができる。
(15)他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信部と、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、操作者が接続中にシンク機器のモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を伝送途中で送信させる、
情報処理装置。
 上記(15)に記載の情報処理装置によれば、操作者が変更した環境でも、初期動作に戻ることなく、効率良い動作を行なうことができる。
(16)複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、前記複数のソース機器のアクセシビリティー・モードを一致するよう、各ソース機器へ要求させる、
情報処理装置。
 上記(16)に記載の情報処理装置によれば、マルチソースにおいて、シンク機器は、複数のソース機器のモードを一致させるよう、Capability  Negotiation管理を行なうことができる。
(17)複数のソース機器との間でシンク機器として無線通信する無線通信部と、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
を具備し、
 前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御部は、アクセシビリティー・モードのソース機器と接続することを把握し、これから接続するアクセシビリティー・モード種別の論理和をとった結果に基づいてソース機器に送信させる、
情報処理装置。
 上記(17)に記載の情報処理装置によれば、マルチソースにおいて、シンク機器は、複数のソース機器のモードを一致させるよう、Capability Negotiation管理を行なうことができる。
(18)複数のシンク機器との間でソース機器として無線通信する無線通信ステップと、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御ステップと、
を有し、
 前記複数のシンク機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御ステップでは、前記複数のシンク機器のアクセシビリティー・モードの種別を管理する、
無線通信方法。
(19)複数のソース機器との間でシンク機器として無線通信する無線通信ステップと、
 前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御ステップと、
を有し、
 前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御ステップでは、前記複数のソース機器へUIBCデータを送信させる、
無線通信方法。
(20)他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信ステップと、
 前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御ステップと、
を有し、
 前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
 前記制御ステップでは、操作者が接続中にシンク機器のモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を伝送途中で送信させる、
無線通信方法。
(21)通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線通信する無線通信部と、
 コンテンツ・データを前記シンク機器に前記無線通信部を介して送信するコンテンツ送信部と、
 アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを、前記無線通信部を介して送信するメタデータ送信部と、
を具備する情報処理装置。
(22)前記メタデータ送信部は、メタデータ送信用のチャネルを用いてメタデータの送信を行なう、
上記(21)に記載の情報処理装置。
(23)通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線通信する無線通信部と、
 コンテンツ・データを前記シンク機器に前記無線通信部を介して送信するコンテンツ送信部と、
 前記シンク機器の動作モードを、前記無線通信部を介して確認するモード確認部と、
 アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを、前記無線通信部を介して送信するメタデータ送信部と、
を具備する情報処理装置。
(24)前記モード確認部は、MiracastプロトコルにおけるCapability Negotiation、Device Discovery、又は、Service Discoveryのうちいずれか1つ以上の処理を用いて前記シンク機器が対応しているアクセシビリティー・モード種別を確認する、
上記(23)に記載の情報処理装置。
(25)前記シンク機器がサポートするアクセシビリティー・モード種別に応じてメタデータを変換するメタデータ変換部をさらに備える、
上記(23)または(24)のいずれかに記載の情報処理装置。
(26)前記シンク機器がアクセシビリティー・モードの場合に、メタデータを生成する必要があることを前記情報処理装置の操作者に通知する通知部をさらに備える、
上記(23)乃至(25)のいずれかに記載の情報処理装置。
(27)前記通知部は、前記シンク機器へ送信するメタデータのメディア種別を表示し、メタデータを変換してもよいかどうかを操作者に確認を促す、
上記(26)に記載の情報処理装置。
(28)前記シンク機器とアクセシビリティー・モードの種別が異なる場合に前記シンク機器とモードを一致させるモード制御部をさらに備える、
上記(23)乃至(27)のいずれかに記載の情報処理信装置。
(29)操作者が前記シンク機器と接続中にモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を前記コンテンツ送信部によるコンテンツの伝送途中で送信させるメッセージ送信部をさらに備える、
上記(23)乃至(28)のいずれかに記載の情報処理装置。
(30)通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なソース機器と、シンク機器として無線通信する無線通信部と、
 前記ソース機器から伝送されるコンテンツ・データを、前記無線通信部を介して受信するコンテンツ受信部と、
 前記無線通信部を介して、前記ソース機器との間で動作モードを確認するモード確認部と、
 アクセシビリティー・モードで動作する操作者において操作可能なメタデータを、前記無線通信部を介して前記ソース機器から受信するメタデータ受信部と、
を具備する情報処理装置。
(31)前記情報処理装置自身がサポートするアクセシビリティー・モード種別に応じてメタデータを変換するメタデータ変換部をさらに備える、
上記(30)に記載の情報処理装置。
(32)前記ソース機器がアクセシビリティー・モードの場合に、メタデータを再生する必要があることを前記情報処理装置の操作者に通知する通知部をさらに備える、
上記(30)又は(31)のいずれかに記載の情報処理装置。
(33)前記ソース機器とアクセシビリティー・モードの種別が異なる場合に前記ソース機器とモードを一致させるモード制御部をさらに備える、
上記(30)乃至(32)のいずれかに記載の情報処理装置。
(34)前記ソース機器から受信するメタデータのメディア種別を表示し、現在オフしているメディア再生をオンにしてよいか否かを操作者に確認する再生確認部をさらに備える、
上記(30)乃至(33)のいずれかに記載の情報処理装置。
(35)操作者が前記ソース機器と接続中にモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を前記ソース機器からのコンテンツの伝送途中で受信するメッセージ受信部をさらに備える、
上記(30)乃至(35)のいずれかに記載の情報処理装置。
(36)通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線接続する無線接続ステップと、
 前記シンク機器にコンテンツ・データを送信するコンテンツ送信ステップと、
 アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを送信するメタデータ送信ステップと、
を有する無線通信方法。
(37)通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線接続する無線接続ステップと、
 前記シンク機器にコンテンツ・データを送信するコンテンツ送信ステップと、
 前記シンク機器の動作モードを確認するモード確認ステップと、
 アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを送信するメタデータ送信ステップと、
を有する無線通信方法。
(38)通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なソース機器と、シンク機器として無線接続する無線接続ステップと、
 前記ソース機器から伝送されるコンテンツ・データを受信するコンテンツ受信ステップと、
 前記ソース機器との間で動作モードを確認するモード確認ステップと、
 アクセシビリティー・モードで動作する操作者において操作可能なメタデータを前記ソース機器から受信するメタデータ受信ステップと、
を有する無線通信方法。
 100…通信システム、101…情報伝達範囲
 200…情報処理装置、210…アンテナ
 220…無線通信部、230…制御信号受信部
 240…制御部、250…画像・音声信号生成部
 260…画像・音声圧縮部、270…ストリーム送信部
 300…情報処理装置、310…アンテナ
 320…無線通信部、330…ストリーム受信部
 340…画像・音声展開部、350…画像・音声出力部
 351…表示部、352…音声出力部
 360…ユーザー情報取得部、370…制御部
 380…制御信号送信部、390…管理情報保持部
 1100…通信システム
 1200、1300、1400…情報処理装置
 1351…表示部、1361…撮像部

Claims (25)

  1.  複数のシンク機器との間でソース機器として無線通信する無線通信部と、
     前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
    を具備し、
     前記複数のシンク機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
     前記制御部は、前記複数のシンク機器のアクセシビリティー・モードの種別を管理する、
    情報処理装置。
  2.  前記制御部は、前記複数のシンク機器のアクセシビリティー・モードの調停を行なってから、コンテンツ・データの伝送を開始させる、
    請求項1に記載の情報処理装置。
  3.  前記制御部は、アクセシビリティー・モードへ変更するシンク機器に対し、操作者へ変更が問題ないかを確認するポップアップを表示させる、
    請求項2に記載の情報処理装置。
  4.  前記制御部は、アクセシビリティー・モードのシンク機器と接続することを把握し、これから接続するアクセシビリティー・モード種別の論理和をとった結果に基づいて、必要なアクセシビリティー・モード用メタデータを送信させる、
    請求項1に記載の情報処理装置。
  5.  前記制御部は、アクセシビリティー・モード用メタデータをマルチキャスト・パケット又はユニキャスト・パケットのうちいずれかで送信させる、
    請求項4に記載の情報処理装置。
  6.  前記制御部は、前記複数のシンク機器を同じアクセシビリティー・モード種別毎にグループ化して、グループ毎に対応したアクセシビリティー・モード用メタデータを送信させる、
    請求項1に記載の情報処理装置。
  7.  前記制御部は、アクセシビリティー・モード用メタデータをマルチキャスト・パケット又はユニキャスト・パケットのうちいずれかで送信させる、
    請求項6に記載の情報処理装置。
  8.  ソース機器との間でシンク機器として無線通信する無線通信部と、
     前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
    を具備し、
     前記制御部は、前記ソース機器から受信した複数のアクセシビリティー・モード用メタデータのうち再生可能なメタデータのみを抽出して再生処理する、
    情報処理装置。
  9.  他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信部と、
     前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
    を具備し、
     前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
     前記制御部は、アクセシビリティー・モードで接続することを前記シンク機器に通知させる、
    情報処理装置。
  10.  複数のソース機器との間でシンク機器として無線通信する無線通信部と、
     前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
     アクセシビリティー向けの操作と通常向けの操作のいずれかを選択するユーザー・インターフェース部と、
    を具備する情報処理装置。
  11.  複数のソース機器との間でシンク機器として無線通信する無線通信部と、
     前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
    を具備し、
     前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
     前記制御部は、前記複数のソース機器へUIBCデータを送信させる、
    情報処理装置。
  12.  前記制御部は、ソース機器毎のモードに合うようにUIBCデータを変換した後に送信させる、
    請求項11に記載の情報処理装置。
  13.  前記制御部は、ソース機器のモードに拘わらずUIBCデータを送信させる、
    請求項11に記載の情報処理装置。
  14.  前記制御部は、すべての機器が切り替え可能な共通のモードに切り替えた後にUIBCデータを送信させる、
    請求項11に記載の情報処理装置。
  15.  他のソース機器とともに同じシンク機器に対してソース機器として無線通信する無線通信部と、
     前記シンク機器との接続並びに前記シンク機器へのコンテンツ・データの伝送を制御する制御部と、
    を具備し、
     前記シンク機器は通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
     前記制御部は、操作者が接続中にシンク機器のモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を伝送途中で送信させる、
    情報処理装置。
  16.  複数のソース機器との間でシンク機器として無線通信する無線通信部と、
     前記ソース機器との接続並びに前記ソース機器からのコンテンツ・データの伝送を制御する制御部と、
    を具備し、
     前記複数のソース機器はそれぞれ、通常モードと、操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能であり、
     前記制御部は、前記複数のソース機器のアクセシビリティー・モードを一致するよう、各ソース機器へ要求させる、
    情報処理装置。
  17.  通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線通信する無線通信部と、
     コンテンツ・データを前記シンク機器に前記無線通信部を介して送信するコンテンツ送信部と、
     アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを、前記無線通信部を介して送信するメタデータ送信部と、
    を具備する情報処理装置。
  18.  前記メタデータ送信部は、メタデータ送信用のチャネルを用いてメタデータの送信を行なう、
    請求項17に記載の情報処理装置。
  19.  通常モードと操作者の身体の障がい又は機能の低下に対応した閲覧を保証する1以上の種別のアクセシビリティー・モードのいずれかで動作可能なシンク機器と、ソース機器として無線通信する無線通信部と、
     コンテンツ・データを前記シンク機器に前記無線通信部を介して送信するコンテンツ送信部と、
     前記シンク機器の動作モードを、前記無線通信部を介して確認するモード確認部と、
     アクセシビリティー・モードで動作する前記シンク機器に、前記シンク機器の操作者において操作可能なメタデータを、前記無線通信部を介して送信するメタデータ送信部と、
    を具備する情報処理装置。
  20.  前記モード確認部は、MiracastプロトコルにおけるCapability Negotiation、Device Discovery、又は、Service Discoveryのうちいずれか1つ以上の処理を用いて前記シンク機器が対応しているアクセシビリティー・モード種別を確認する、
    請求項19に記載の情報処理装置。
  21.  前記シンク機器がサポートするアクセシビリティー・モード種別に応じてメタデータを変換するメタデータ変換部をさらに備える、
    請求項19又は20のいずれかに記載の情報処理装置。
  22.  前記シンク機器がアクセシビリティー・モードの場合に、メタデータを生成する必要があることを前記情報処理装置の操作者に通知する通知部をさらに備える、
    請求項19乃至21のいずれかに記載の情報処理装置。
  23.  前記通知部は、前記シンク機器へ送信するメタデータのメディア種別を表示し、メタデータを変換してもよいかどうかを操作者に確認を促す、
    請求項22に記載の情報処理装置。
  24.  前記シンク機器とアクセシビリティー・モードの種別が異なる場合に前記シンク機器とモードを一致させるモード制御部をさらに備える、
    請求項19乃至23のいずれかに記載の情報処理装置。
  25.  操作者が前記シンク機器と接続中にモードを変更した場合、通常モードとアクセシビリティー・モードを途中で変更するモード・エックスチェンジ用メッセージ信号を前記コンテンツ送信部によるコンテンツの伝送途中で送信させるメッセージ送信部をさらに備える、
    請求項19乃至24のいずれかに記載の情報処理装置。
PCT/JP2016/050079 2015-01-30 2016-01-05 情報処理装置 WO2016121412A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/543,395 US11068148B2 (en) 2015-01-30 2016-01-05 Information processing device
EP16743016.4A EP3253066B1 (en) 2015-01-30 2016-01-05 Information processing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-016735 2015-01-30
JP2015016735A JP2016143954A (ja) 2015-01-30 2015-01-30 無線通信装置及び無線通信方法
JP2015022674A JP2016146560A (ja) 2015-02-06 2015-02-06 無線通信装置及び無線通信方法
JP2015-022674 2015-02-06

Publications (1)

Publication Number Publication Date
WO2016121412A1 true WO2016121412A1 (ja) 2016-08-04

Family

ID=56543034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050079 WO2016121412A1 (ja) 2015-01-30 2016-01-05 情報処理装置

Country Status (3)

Country Link
US (1) US11068148B2 (ja)
EP (1) EP3253066B1 (ja)
WO (1) WO2016121412A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356829B2 (en) * 2015-09-09 2019-07-16 Lg Electronics Inc. Method and apparatus for transmitting metadata in WFD
US10645139B2 (en) 2017-04-06 2020-05-05 Microsoft Technology Licensing, Llc Network protocol for switching between plain text and compressed modes
CN111602352B (zh) * 2018-01-15 2021-12-10 中兴通讯股份有限公司 用于促进无线通信网络中的多址接入的方法和计算设备
KR20220048245A (ko) * 2020-10-12 2022-04-19 엘지전자 주식회사 무선 디바이스 및 무선 시스템
US11630680B2 (en) * 2020-10-28 2023-04-18 International Business Machines Corporation Modifying user interface layout based on user focus
WO2023090493A1 (ko) * 2021-11-19 2023-05-25 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226754A (ja) * 2011-04-19 2012-11-15 Intel Corp 多機能入力装置
JP2013132078A (ja) * 2013-03-19 2013-07-04 Thomson Licensing 動的なグループ分け及びコンテンツ配信の方法、装置及びシステム
JP2014171192A (ja) * 2013-03-05 2014-09-18 Funai Electric Co Ltd Av機器
JP2015019197A (ja) * 2013-07-10 2015-01-29 船井電機株式会社 情報送信装置および情報送信方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822823B2 (en) * 1999-12-14 2010-10-26 Neeraj Jhanji Systems for communicating current and future activity information among mobile internet users and methods therefor
US6794989B2 (en) * 2001-06-25 2004-09-21 Kara Jean Naegely Sports signalling device for hearing impaired persons
US9654425B2 (en) * 2003-06-16 2017-05-16 Meetup, Inc. System and method for communicating among members of meeting groups
US7546531B2 (en) * 2003-11-21 2009-06-09 Microsoft Corporation Accessing alternate content
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
KR101424595B1 (ko) * 2007-07-13 2014-08-04 삼성전자주식회사 단말의 서비스 성능 정보 교환 방법 및 장치
US20170221095A1 (en) * 2009-08-03 2017-08-03 Picpocket, Inc. Systems and networks to aggregate photo content for heuristic ad targeting
JP2014527208A (ja) * 2011-06-08 2014-10-09 スグループルス,インク. グループ認証の方法およびソフトウェア
US8732255B2 (en) * 2011-09-09 2014-05-20 Facebook, Inc. Dynamically created shared spaces
US8887222B2 (en) 2011-09-14 2014-11-11 Qualcomm Incorporated Multicasting in a wireless display system
US20130144674A1 (en) * 2011-12-01 2013-06-06 Samsung Electronics Co. Ltd. System and method for providing mobile advertising services
US20150170045A1 (en) * 2012-02-22 2015-06-18 Google Inc. Event attendance prediction
US9118723B1 (en) * 2012-04-05 2015-08-25 Google Inc. Post and content framework for social activity streams
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
JP6117562B2 (ja) * 2013-02-13 2017-04-19 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
US10635263B2 (en) * 2013-03-12 2020-04-28 Gerald Douglas Hosier, JR. Online systems and methods for advancing information organization sharing and collective action
US8930975B2 (en) 2013-05-17 2015-01-06 Rovi Guides, Inc. Methods and systems for compensating for disabilities when presenting a media asset
US9197680B2 (en) * 2013-05-23 2015-11-24 Qualcomm Incorporated Establishing and controlling audio and voice back channels of a Wi-Fi display connection
WO2014204193A1 (en) 2013-06-18 2014-12-24 Samsung Electronics Co., Ltd. Method and apparatus for controlling content shared between devices in wireless communication system
US10051072B2 (en) * 2013-06-21 2018-08-14 Google Llc Detecting co-presence in the physical world
WO2015093636A1 (ko) * 2013-12-16 2015-06-25 삼성전자 주식회사 Ui 제공 장치 및 그의 ui 제공 방법
US9461949B2 (en) * 2014-01-31 2016-10-04 Dropbox, Inc. Managing links and invitations to shared content
US20150324826A1 (en) * 2014-05-09 2015-11-12 DeNA Co., Ltd. Server device, software program, and system
US20160188799A1 (en) * 2014-08-28 2016-06-30 ehumanlife, Inc. Method and system for online delivery of healthcare
US20160253833A1 (en) * 2015-02-26 2016-09-01 Grace Lew System and method for photo album journaling
US9723253B2 (en) * 2015-03-11 2017-08-01 Sony Interactive Entertainment Inc. Apparatus and method for automatically generating an optically machine readable code for a captured image
SE541724C2 (en) * 2015-07-09 2019-12-03 Omnitor Ab System and method for alerting a user
US9832787B2 (en) * 2015-07-31 2017-11-28 International Business Machines Corporation Attention management
US20160191653A1 (en) * 2015-09-22 2016-06-30 Stage Gator LLC Online networking platform for event creation management and participation
US10282052B2 (en) * 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
US20170149699A1 (en) * 2015-11-19 2017-05-25 Petsnikker LLC Systems and Methods for Delivering Notifications Associated with Pets, Children or Individuals with Communication Limitations
US10841404B2 (en) * 2016-07-11 2020-11-17 Facebook, Inc. Events discovery context
US20180191831A1 (en) * 2017-01-03 2018-07-05 Bank Of America Corporation Facilitating Across-Network Handoffs for Devices Using Augmented Reality Display Devices
US20180351895A1 (en) * 2018-07-11 2018-12-06 Yogesh Rathod In the event of selection of message, invoking camera to enabling to capture media and relating, attaching, integrating, overlay message with/on/in captured media and send to message sender

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226754A (ja) * 2011-04-19 2012-11-15 Intel Corp 多機能入力装置
JP2014171192A (ja) * 2013-03-05 2014-09-18 Funai Electric Co Ltd Av機器
JP2013132078A (ja) * 2013-03-19 2013-07-04 Thomson Licensing 動的なグループ分け及びコンテンツ配信の方法、装置及びシステム
JP2015019197A (ja) * 2013-07-10 2015-01-29 船井電機株式会社 情報送信装置および情報送信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3253066A4 *

Also Published As

Publication number Publication date
EP3253066A1 (en) 2017-12-06
US20180004383A1 (en) 2018-01-04
EP3253066B1 (en) 2021-06-09
EP3253066A4 (en) 2018-07-25
US11068148B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
WO2016121412A1 (ja) 情報処理装置
US10383098B2 (en) Information processing device and information processing method
JP6455447B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
TWI536855B (zh) 內容分享方法與裝置
US10979900B2 (en) Information processing device and information processing method
KR101780300B1 (ko) 무선 디스플레이 디바이스들에 대한 사용자 입력 제어를 위한 비연결형 전송
JP6515918B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP7037358B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2012145980A1 (zh) 一种在显示设备上显示移动终端数据的装置、***和方法
JP7123594B2 (ja) 通信装置、制御方法、およびプログラム
JP6914728B2 (ja) 通信装置、通信方法、およびプログラム
US20170374412A1 (en) Method and apparatus for outputting supplementary content from wfd
TWI540903B (zh) 視訊通話轉換方法、行動終端及智慧電視
US10582376B2 (en) Information processing apparatus, information processing method, and source apparatus
JP2010056966A (ja) 画像コンテンツ送信サーバ、画像表示装置、画像コンテンツ送信方法、及び、画像表示方法
JP2016143954A (ja) 無線通信装置及び無線通信方法
JP2005348144A (ja) 情報端末装置、共有メディアデータ提示方法、および共有メディアデータ提示プログラム
JP2016146560A (ja) 無線通信装置及び無線通信方法
JP2019215762A (ja) 通信装置、制御方法、および、プログラム
WO2023279326A1 (zh) 音视频传输方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16743016

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15543395

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016743016

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE