WO2018105373A1 - 情報処理装置、情報処理方法、および情報処理システム - Google Patents

情報処理装置、情報処理方法、および情報処理システム Download PDF

Info

Publication number
WO2018105373A1
WO2018105373A1 PCT/JP2017/041758 JP2017041758W WO2018105373A1 WO 2018105373 A1 WO2018105373 A1 WO 2018105373A1 JP 2017041758 W JP2017041758 W JP 2017041758W WO 2018105373 A1 WO2018105373 A1 WO 2018105373A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
display
information
text
text information
Prior art date
Application number
PCT/JP2017/041758
Other languages
English (en)
French (fr)
Inventor
祐平 滝
真一 河野
邦世 大石
徹哉 浅山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020197014972A priority Critical patent/KR20190091265A/ko
Priority to JP2018554906A priority patent/JP6950708B2/ja
Priority to DE112017006145.8T priority patent/DE112017006145T5/de
Priority to US16/349,731 priority patent/US11189289B2/en
Publication of WO2018105373A1 publication Critical patent/WO2018105373A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and an information processing system, and more particularly, to an information processing apparatus, an information processing method, and an information processing system that can support natural conversation using voice recognition.
  • This technology has been made in view of these circumstances, and is a technology that supports natural conversation using voice recognition.
  • the information processing apparatus includes the voice acquisition unit that acquires the voice information of the first user input to the voice input device, and the acquired voice in the display device for the second user.
  • a display control unit that controls display of text information corresponding to the information, wherein the display control unit displays the text information on the display device or the input amount of the voice information input from the voice input device Based on at least one of the above, control is performed regarding the display amount of the text information.
  • An information processing method includes: an audio acquisition step of acquiring audio information of a first user input to an audio input device by the information processing device; A display control step for controlling display of text information corresponding to the acquired voice information in a display device for two users, wherein the display control step includes a display amount of the text information on the display device, Alternatively, control regarding the display amount of the text information is performed based on at least one of the input amounts of the speech information input from the speech input device.
  • a program that is one aspect of the present technology includes a voice input device that acquires voice information of a first user, a display control device that controls display of text information corresponding to the acquired voice information, and the display control device A display device that displays the text information for the second user in accordance with the control from the display device, the display control device being input from the display amount of the text information on the display device or the voice input device Control relating to the display amount of the text information is performed based on at least one of the input amounts of the voice information.
  • the input voice information of the first user is acquired, and display of text information corresponding to the acquired voice information on the display device for the second user is controlled.
  • control relating to the display amount of the text information is performed based on at least one of the display amount of the text information on the display device or the input amount of the speech information input from the speech input device.
  • natural conversation using voice recognition can be performed.
  • FIG. 1 shows a first configuration example of a conversation support apparatus according to an embodiment of the present technology, and shows a case where the conversation support apparatus 10 is formed as one casing.
  • the conversation support device 10 is for supporting a conversation between a person who does not have anxiety about hearing (hereinafter referred to as user A) and a person who has anxiety about hearing (hereinafter referred to as user B). .
  • user A a person who does not have anxiety about hearing
  • user B a person who has anxiety about hearing
  • the first user in one aspect of the present technology corresponds to the user A in the present configuration example
  • the second user in one aspect of the present technology corresponds to the user 2 in the present configuration example. May be.
  • the 1st user in one side of this art should just be a user who inputs a voice. That is, the first user (user who inputs voice) is not limited to a single subject (user), and may be a plurality of subjects (users).
  • the second user in one aspect of the present technology may be a user who visually recognizes the displayed utterance text, and is not limited to a single subject, and may be a plurality of subjects.
  • the utterance of user A is converted into text (hereinafter referred to as utterance text) by voice recognition processing, and the utterance text is displayed on the display unit 43 for user B.
  • utterance text text
  • voice recognition processing voice recognition processing
  • the user B can understand the utterance text (character information) corresponding to the utterance (voice information) of the user A.
  • the utterance text displayed on the display unit 43 is displayed until the user B finishes reading or a predetermined time elapses.
  • an image of the user B from an image captured by the imaging unit 41 or an utterance of the user B collected by the sound collecting unit 42 is used. Used.
  • the display unit 43 for the user B is provided with a display unit 22 for the user A (FIG. 2) on the back side, and the display unit 22 has the same display as the display unit 43, that is, the user A
  • the utterance text corresponding to the utterance is displayed. Thereby, the user A can confirm whether or not the user's utterance has been correctly recognized.
  • FIG. 2 is a block diagram illustrating an internal configuration example of the conversation support apparatus according to the embodiment of the present technology.
  • the conversation support device 10 includes a sound collection unit 21, a display unit 22, an operation input unit 23, an information processing unit 30, an imaging unit 41, a sound collection unit 42, a display unit 43, and an operation input unit 44.
  • the sound collection unit 21, the display unit 22, and the operation input unit 23 are provided mainly for the user A.
  • the sound collecting unit 21 collects the voice (utterance) spoken by the user A and supplies the corresponding speech signal to the information processing unit 30.
  • the display unit 22 displays a screen corresponding to the image signal supplied from the information processing unit 30 (for example, an image signal for displaying an utterance text corresponding to the utterance of the user A on the screen).
  • the operation input unit 23 receives various operations from the user A and notifies the information processing unit 30 of operation signals corresponding thereto.
  • the information processing unit 30 converts the speech signal supplied from the sound collection unit 21 into speech text by speech recognition processing. Further, the information processing unit 30 supplies an image signal for displaying the utterance text on the screen to the display unit 43. Details of the information processing unit 30 will be described later.
  • the imaging unit 41, the sound collection unit 42, the display unit 43, and the operation input unit 44 are provided mainly for the user B.
  • the imaging unit 41 images the user B and supplies the moving image signal obtained as a result to the information processing unit 30.
  • the sound collecting unit 42 collects the voice (speech) spoken by the user B and supplies the corresponding speech signal to the information processing unit 30.
  • the display unit 43 displays a screen corresponding to an image signal supplied from the information processing unit 30 for displaying the utterance text corresponding to the utterance of the user A on the screen.
  • the operation input unit 44 receives various operations from the user B and notifies the information processing unit 30 of operation signals corresponding thereto.
  • FIG. 3 shows a configuration example of functional blocks included in the information processing unit 30.
  • the information processing unit 30 includes a voice recognition unit 31, an image recognition unit 32, a misrecognition learning unit 33, an analysis unit 35, an editing unit 36, an additional writing learning unit 37, a display waiting list holding unit 38, a display control unit 39, and a feedback unit. 40.
  • the speech recognition unit 31 generates an utterance text by converting an utterance signal corresponding to the utterance of the user A supplied from the sound collection unit 21 into an utterance text by speech recognition processing, and supplies the utterance text to the analysis unit 35.
  • the speech recognition unit 31 converts an utterance signal corresponding to the utterance of the user B supplied from the sound collection unit 42 into an utterance text by voice recognition processing, and the utterance text represents a specific keyword indicating the user B's already read. (For example, “Yes”, “Yes”, “Okay”, “OK”, “Next”, etc. registered in advance) are detected, and the detection result is supplied to the display control unit 39.
  • the image recognition unit 32 Based on the moving image signal supplied from the imaging unit 41, the image recognition unit 32 performs a specific operation indicating the user B's reading (for example, nodding, watching the screen and then looking in a direction other than the screen). It detects and supplies a detection result to the display control part 39. FIG. Further, the image recognition unit 32 measures the distance between the user B and the display unit 43 based on the moving image signal supplied from the imaging unit 41 and notifies the display control unit 39 of the measurement result. The distance between the user B and the display unit 43 is used to set the character size of the utterance text displayed on the display unit 43. For example, the longer the distance between the user B and the display unit 43, the larger the character size is set.
  • the line-of-sight direction may be determined based on the direction of the wearable device, that is, the direction of the user B's head or body.
  • the direction of the wearable device can be determined based on position information acquired from a camera, an acceleration sensor, a gyro sensor, or the like provided in the wearable device.
  • the Purkinje image of the eyeball of the user B and the pupil center may be determined using an infrared camera and an infrared LED, and the line-of-sight direction of the user B may be determined based on these.
  • the misrecognition learning unit 33 edits input from the user A or the user B to the utterance text corresponding to the utterance of the user A that is the result of the speech recognition process (for example, an erase instruction operation, a recurrent speech instruction operation, NG Corresponding to the word registration instruction operation), misrecognized words included in the utterance text are registered in the misrecognition list 34.
  • the misrecognition learning unit 33 A recognition result (second candidate or the like) other than a misrecognized word (first candidate of recognition result) is requested.
  • the analysis unit 35 analyzes the speech text corresponding to the speech of the user A generated by the speech recognition unit 31, for example, by decomposing the speech text into parts of speech or extracting keywords.
  • the editing unit 36 controls the amount of text that specifies particles or the like that do not impair the meaning of the utterance text even if line breaks or page breaks are added or deleted as appropriate to the utterance text.
  • An edit process such as a process is performed and supplied to the display wait list holding unit 38. In the editing process, it may be considered that at least one of line feed, page break or text amount suppression processing is performed, and at least one of line feed, page break or text amount suppression processing may be omitted.
  • the editing unit 36 can supply a plurality of related utterance texts to a display waiting list holding unit 38 in a thread.
  • an icon corresponding to a thread waiting for display may be displayed while displaying the current thread.
  • Display objects indicating threads waiting to be displayed are not limited to icons, and may be appropriately set. According to such a configuration, it is possible to easily grasp how much the user B has finished reading the other party's utterance text. Moreover, according to such a structure, the user B can act to suppress the input amount of the user A based on the progress of the utterance text.
  • the editing unit 36 outputs a sentence of the utterance text based on the editing operation input by the user A using the operation input unit 23 with respect to the utterance text corresponding to the utterance of the user A displayed on the display unit 22. Controls the process of deleting, inserting utterance text corresponding to recurrent utterances, and registering NG words.
  • the editing unit 36 performs an additional operation (specifically, “?”) That is input by the user A using the operation input unit 23 to the utterance text corresponding to the utterance of the user A displayed on the display unit 22.
  • the operation of adding a symbol such as “?” To the utterance text is controlled based on the operation of adding a symbol such as “(question mark)”. Note that symbols, pictograms, emoticons, etc. other than “?” May be additionally recorded.
  • the editing unit 36 is based on an editing operation or an additional writing operation input by the user B using the operation input unit 44 with respect to the utterance text corresponding to the utterance of the user A displayed on the display unit 43. Editing processing can be performed. In other words, both the user A and the user B can perform an editing operation and an additional writing operation on the displayed utterance text corresponding to the utterance of the user A.
  • the additional writing learning unit 37 learns the additional writing operation input by the user A or the user B, and based on the learning result, even if there is no additional writing operation from the user A or the user B, the same symbol or the like is given to the same utterance text.
  • the editing unit 36 is controlled so as to be additionally written.
  • the display waiting list holding unit 38 displays the edited utterance text including at least one of line feed, page break, and text amount suppression processing (the text amount suppression processing may not be performed depending on the number of characters).
  • the information is registered in the display wait list in the sequence order, that is, in the order in which the user A speaks.
  • the utterance text registered in the display waiting list is read from the display control unit 39, it is deleted from the display waiting list.
  • the display control unit 39 reads out the utterance texts from the display waiting list in chronological order, generates an image signal for displaying the read out utterance text on the screen, and supplies it to the display unit 22 and the display unit 43. Further, the display control unit 39 displays a display amount of the utterance text currently displayed on the display unit 22 and the display unit 43, a detection result of a specific keyword that is supplied from the voice recognition unit 31 and represents the user B already read, The display amount of the utterance text on the display unit 22 and the display unit 43 is controlled based on the detection result of the specific action representing the read of the user B supplied from the image recognition unit 32. Further, the display control unit 39 sets the character size for displaying the utterance text according to the distance between the user B and the display unit 43.
  • the feedback control unit 40 is registered in the utterance speed of the user A, the length of the utterance of the user A, the amount of speech recognition characters per unit time, the amount of utterance text displayed on the display unit 43, and the display waiting list. Corresponding to the amount of utterance text, whether or not the user B has already read, the reading speed of the user B, etc., the utterance speed is increased (or decreased) for the user A who is the utterer by using character display or voice output. To control the feedback to notify the user, to notify the utterance, or to prompt the next utterance.
  • the feedback control unit 40 corresponds to the amount of utterance text displayed on the display unit 43, the amount of utterance text registered in the display waiting list, whether or not the user B has been read, the reading speed of the user B, etc. Then, feedback that prompts the user B to read the utterance text is controlled by using a character display or the like.
  • the above-described functional blocks included in the information processing unit 30 do not have to be housed in the same casing, and may be arranged in a distributed manner. Some or all of these functional blocks may be arranged on a server on the Internet, a so-called cloud network.
  • FIG. 4 illustrates a second configuration example of the conversation support apparatus according to the embodiment of the present technology.
  • the conversation support device 10 is configured as a system including a plurality of different electronic devices.
  • the connection between the plurality of electronic devices constituting the conversation support apparatus 10 may be wired connection or may use predetermined wireless communication (for example, Bluetooth (registered trademark), Wi-Fi (trademark), etc.). Good.
  • the conversation support device 10 includes a smartphone 50 used by the user A and a tablet PC (hereinafter referred to as a tablet) 60 used by the user B.
  • FIG. 5 shows a state in which the constituent elements of the conversation support apparatus 10 shown in FIG. 2 are divided into the smartphone 50 and the tablet PC 60.
  • the smartphone 50 among the components of the conversation support device 10, the sound collection unit 21, the display unit 22, the operation input unit 23, and the information processing unit 30 are realized by the smartphone 50.
  • a microphone, a display, a touch panel, and the like included in the smartphone 50 correspond to the sound collection unit 21 and the operation input unit 23, respectively.
  • An application program executed by the smartphone 50 corresponds to the information processing unit 30.
  • the imaging unit 41, the sound collection unit 42, the display unit 43, and the operation input unit 44 are realized by the tablet 60.
  • the camera, microphone, display, touch panel, and the like included in the tablet 60 correspond to the imaging unit 41, the sound collection unit 42, the display unit 43, and the operation input unit 44, respectively.
  • the speech recognition unit 31 among the functional blocks of the information processing unit 30 is arranged in a server 72 that can be connected via the Internet 71.
  • FIG. 6 illustrates a third configuration example of the conversation support apparatus according to the embodiment of the present technology.
  • the conversation support device 10 is configured as a system including a plurality of electronic devices.
  • the projector 80 that projects the video for displaying the utterance text on the smartphone 50 used by the user A and the position where the user B lying on the bed can see, for example, the wall or ceiling of the room. And a camera 110 arranged on the ceiling or the like.
  • FIG. 7 shows a state in which the constituent elements of the conversation support apparatus 10 shown in FIG. 2 are divided into a smartphone 50, a projector 80, and a camera 110.
  • the sound collection unit 21, the display unit 22, the operation input unit 23, and the information processing unit 30 are realized by the smartphone 50.
  • the imaging unit 41 and the sound collection unit 42 are realized by the camera 110.
  • the image sensor and the microphone included in the camera 110 correspond to the imaging unit 41 and the sound collecting unit 42, respectively.
  • the display unit 43 and the operation input unit 44 are realized by the projector 80.
  • the projection unit and the remote controller included in the projector 80 correspond to the display unit 43 and the operation input unit 44, respectively.
  • the voice recognition unit 31 among the functional blocks included in the information processing unit 30 is arranged in a server 72 that can be connected via the Internet 71.
  • FIG. 8 illustrates a fourth configuration example of the conversation support apparatus according to the embodiment of the present technology.
  • the conversation support apparatus 10 is configured as a system including a plurality of different electronic devices.
  • the fourth configuration example includes a neck microphone 100 used by the user A, a television receiver (hereinafter referred to as TV) 90 disposed at a position where the user A and the user B can see,
  • the camera 110 is mounted on the TV 90.
  • FIG. 9 shows a state in which the components of the conversation support device 10 shown in FIG. 2 are divided into a neck microphone 100, a TV 90, and a camera 110.
  • the sound collection unit 21 is realized by the neck microphone 100.
  • the neck microphone 100 may be provided with a speaker that outputs sound in addition to the sound collecting unit 21.
  • the imaging unit 41 and the sound collection unit 42 are realized by the camera 110.
  • the display unit 43 and the operation input unit 44 are realized by the TV 90.
  • the display and remote controller included in the TV 90 correspond to the display unit 43 and the operation input unit 44, respectively. It is assumed that the display and the remote controller included in the TV 90 also serve as the display unit 22 and the operation input unit 23 for the user A.
  • the voice recognition unit 31 among the functional blocks of the information processing unit 30 is arranged in a server 72 that can be connected via the Internet 71.
  • the conversation support device 10 can be configured as one electronic device, or can be configured as a system in which a plurality of electronic devices are combined.
  • the first to fourth configuration examples described above can be combined as appropriate.
  • a wearable device such as a clock-type terminal or a head-mounted display, a monitor for a PC (personal computer), or the like can be employed in addition to the above-described example.
  • FIG. 10 is a flowchart for explaining display wait list generation processing by the conversation support apparatus 10. This display waiting list generation process is repeatedly executed until the power is turned off after the conversation support device 10 is activated.
  • step S1 when the user A speaks, the sound is acquired by the sound collecting unit 21.
  • the sound collecting unit 21 converts the voice of the user A into an utterance signal and supplies it to the information processing unit 30.
  • step S ⁇ b> 2 in the information processing unit 30, the speech recognition unit 31 converts the speech signal corresponding to the speech of the user A into speech text by performing speech recognition processing.
  • step S3 the analysis unit 35 analyzes the utterance text corresponding to the utterance of the user A generated by the voice recognition unit 31.
  • step S4 the editing unit 36 performs an editing process including at least one of a line feed, a page break, or a text amount suppression process on the utterance text corresponding to the utterance of the user A based on the analysis result, The processed utterance text is supplied to the display waiting list holding unit 38.
  • step S5 the display waiting list holding unit 38 holds the edited utterance texts supplied from the editing unit 36 in chronological order. Thereafter, the process returns to step S1, and the subsequent steps are repeated.
  • FIG. 11 is a flowchart for explaining utterance text display processing by the conversation support apparatus 10.
  • the utterance text display process is repeatedly executed in parallel with the display wait list generation process described above until the power is turned off after the conversation support device 10 is activated.
  • step S11 the display control unit 39 determines whether or not the utterance text is currently displayed on the screens of the display units 22 and 43. If it is determined that it is displayed, the process proceeds to step S12. In step S12, the display control unit 39 determines whether or not a predetermined shortest display time has elapsed since the display of the currently displayed utterance text has started, and the shortest display time has elapsed. Wait until. If the shortest display time has elapsed, the process proceeds to step S13.
  • step S ⁇ b> 13 the display control unit 39 represents the detection result of the specific keyword representing the user B's read, which is supplied from the voice recognition unit 31, and the user B's read that is supplied from the image recognition unit 32. Based on the detection result of the specific action, it is determined whether or not the reading of the user B with respect to the displayed utterance text has been detected.
  • FIG. 12 shows an example of determination of the read detection of the user B in step S13.
  • the user B can detect when a specific operation representing a read such as a nod is detected from the image recognition result of a moving image obtained by capturing the user B, the user B can detect when a specific operation indicating the read is detected a predetermined number of times (for example, twice). It is estimated that the user B has been read, and it is determined that the user B has been read.
  • the conversation is progressing between the user A and the user B when the user A can be detected. It is estimated that B understands, and it is determined that the user B's read has been detected.
  • the read determination of the user B is not limited to the above-described example.
  • the user may arbitrarily add a specific keyword indicating read or a specific operation indicating read.
  • step S14 the display control unit 39 determines whether or not a predetermined longest display time has elapsed since the display of the currently displayed utterance text has started, and the longest display time has elapsed. The process returns to step S13 until steps S13 and S14 are repeated. Then, when the user B has been read or the longest display time has elapsed, the process proceeds to step S15.
  • step S ⁇ b> 15 the display control unit 39 reads the utterance texts from the display waiting list in time series order, generates an image signal for displaying the read utterance texts on the screen, and supplies the image signals to the display unit 22 and the display unit 43. .
  • the display control unit 39 reads the utterance texts from the display waiting list in time series order, generates an image signal for displaying the read utterance texts on the screen, and supplies the image signals to the display unit 22 and the display unit 43. .
  • the screens of the display unit 22 and the display unit 43 are already full of utterance text, the screen is scrolled, the utterance text that was displayed first disappears from the screen, and is newly read from the display wait list.
  • the issued utterance text is displayed on the screen.
  • step S11 If it is determined in step S11 that the utterance text is not currently displayed on the screens of the display units 22 and 43, steps S12 to S14 are skipped, and the process proceeds to step S15.
  • the display waiting list generation process and the utterance text display process are executed in parallel, so that the user A's utterance is presented to the user B as the utterance text, The display of the utterance text is advanced.
  • FIG. 13 shows a situation where, for example, a user A who is an elementary school student and a user B who is a mother have a conversation using the conversation support device 10.
  • the user A uttered without saying at a stretch that he said, “If you went to school yesterday, you were told to collect 10000 yen because you collected money for school trips.”
  • FIG. 14 shows a display example of the display unit 43 in the situation shown in FIG. 14A shows a state in which the editing process is not reflected
  • FIG. 14B shows a state in which line breaks and page breaks are reflected in the editing process
  • FIG. 14C shows a line break and page break. The page and the text amount suppression processing are all reflected.
  • the display unit 43 initially displays the utterance text that does not reflect the editing process as shown in A of FIG. 14. Is done. In this state, line breaks and page breaks are made regardless of the meaning and context, so it is difficult to read, and the numerical value (10000 yen in the case of the figure) is divided in the middle, so the numerical value can be misunderstood. There is sex.
  • line breaks and page breaks in the editing process are reflected, which are shown in FIG. 14B.
  • line breaks and page breaks are performed according to the meaning and context of the utterance text, making it easier to read and the effect of suppressing misunderstandings such as numerical values.
  • the displayed utterance text may be deleted from the screen.
  • the display of A of FIG. 14 may be returned.
  • the display may return to the display shown in FIG. 14B.
  • the display of FIG. 14B is displayed, and when the user B performs the first operation, the display of FIG.
  • the displayed utterance text may be erased from the screen. Thereafter, each time the user B performs the first operation again, the display may return to the display of C in FIG. 14, B in FIG. 14, or A in FIG. 14.
  • the editing process is reflected in the displayed utterance text in response to the operation by the user B.
  • the editing process is performed on the displayed utterance text in accordance with the operation by the user A. It is also possible to reflect.
  • at least one of the first operation, the second operation, or the third operation may be regarded as a predetermined operation in one aspect of the present technology.
  • FIG. 15 shows a situation where user A and user B have a conversation using the conversation support device 10. However, illustration of user B is omitted. In the case of the figure, it is assumed that the user A utters a relatively short sentence such as “Good morning”, “Tomorrow at 10 o'clock at the Shinagawa station”.
  • FIG. 16 shows a display example on the display 43 of the utterance text corresponding to the utterance of the user A shown in FIG.
  • the utterance text corresponding to the sentence is also displayed divided into short parts as shown in FIG.
  • the utterance text other than “Good morning” is displayed in a state in which the text amount suppression process for deleting the nouns and the verbs and deleting the particles is reflected. That is, in the text amount suppression process of this example, parts of speech that are less important for understanding the meaning and context of the utterance text are omitted as appropriate.
  • the wording to be omitted is not limited to the part of speech, and may be appropriately set by the user.
  • the particles may be displayed less prominently than nouns or verbs related to the meaning or context of the utterance text.
  • the utterance text may be displayed such that nouns, verbs, etc. stand out from particles, etc.
  • FIG. 17 shows a display example in which the size of the particles such as particles is made smaller than the nouns and verbs related to the meaning and context of the utterance text so that the nouns and verbs stand out.
  • the color of particles such as particles is light and the color of characters such as nouns and verbs is displayed darkly, the brightness of characters such as particles is low, and the brightness of characters such as nouns and verbs is reduced.
  • the line may be displayed higher, or the line of a character such as a particle may be thinned, and the line of a character such as a noun or a verb may be displayed thickly.
  • FIG. 18 shows a display example when the delete button 111 is provided corresponding to each utterance text displayed on the display unit 22 for the user A.
  • Each utterance text shown in FIG. 18 corresponds to the utterance to user A shown in FIG.
  • the utterance text can be deleted by operating the delete button 111.
  • the word that should be recognized as “Shinagawa” is misrecognized as “Sanagawa”, so that when user A who has found this misrecognition operates the delete button 111, The utterance text including “Jonagawa” is deleted. Then, the misrecognition learning unit 33 learns that the utterance text including “Self” is erased (registered in the misrecognition list 34).
  • the user A can delete the misrecognized utterance text or the utterance text corresponding to the wrong utterance.
  • the delete button 111 can also be provided on the display section 43 for the user B.
  • the user B can erase the utterance text that has been read, for example, by operating the erase button 111.
  • the fact is notified to the user A side.
  • the user A can confirm the read of the user B with respect to the erased utterance text.
  • the fact may be notified to the user B side.
  • This notification method may use screen display or audio output.
  • FIG. 19 shows a display example when a re-utterance button 112 is provided corresponding to each utterance text displayed on the display unit 22 for the user A. Note that each utterance text shown in FIG. 19 corresponds to the utterance to user A shown in FIG.
  • the user A when the user A finds misrecognition in the utterance text that is the voice recognition result of his / her utterance, the user can re-phrase (speak again) the utterance text by operating the recurrence button 112.
  • the word that should be recognized as “Shinagawa” is misrecognized as “Sanakawa”, so that the user A who has found this misrecognition operates the recurrence button 112.
  • the currently displayed “Gather to Jonagawa tomorrow at 10:00” will be the utterance text that is the speech recognition result of the recurrent speech (correctly recognized) In case “Tomorrow we will gather at Shinagawa at 10:00”). Further, it is learned by the misrecognition learning unit 33 that the utterance text including “Sanagawa” has been replaced (registered in the misrecognition list 34).
  • the user A operates the recurrence button 112 to replace the misrecognized utterance text or the display of the utterance text corresponding to the wrong utterance with the utterance text corresponding to the recurrence at the position. Can do.
  • the re-utterance button 112 can be provided on the display section 43 for the user B. In that case, in response to the user B operating the re-utterance button 112, the user A is notified so as to prompt the re-utterance.
  • This notification method may use screen display or audio output.
  • FIG. 20 shows a display example when an NG word registration button 113 is provided corresponding to each utterance text displayed on the display unit 22 for the user A.
  • each utterance text shown by FIG. 20 respond
  • NG word registration button 113 For example, if user A finds misrecognition in the utterance text that is the speech recognition result of his utterance and does not want the misrecognition result to appear again, it is registered as an NG word by operating the NG word registration button 113 can do.
  • the user A can register a word that is erroneously recognized and is not desired to be displayed again as an NG word.
  • the NG word registration button 113 can also be provided on the display section 43 for the user B. In that case, the user B can also register a word that he / she does not want to redisplay as an NG word by operating the NG word registration button 113.
  • FIG. 21 shows a display example when the append button 114 is provided corresponding to each utterance text displayed on the display unit 22 for the user A.
  • Each utterance text shown in FIG. 21 corresponds to the utterance to user A shown in FIG.
  • the display example of FIG. 21 shows a result of the operation of the add button 114, and “?” Is added to the utterance text “Drinking medicine for lunch today” corresponding to the utterance of the user A. Yes. In this case, the fact that “?” Is added to “Today's lunch is already taken” is registered in the additional writing learning unit 37.
  • the user A can add “?” To the utterance text by operating the add button 114.
  • the append button 114 can be provided on the display unit 43 for the user B. In that case, when the user B does not understand the meaning of the displayed utterance text or wants to know more detailed contents, the user B selects a word or the like included in the displayed utterance text, and then appends it. By operating the button 114, the user A can be inquired about the meaning of a word or the like.
  • the delete button 111, the recurrence button 112, the NG word registration button 113, and the postscript button 114 are displayed individually, but they may be displayed simultaneously.
  • a predetermined touch operation for example, when the operation input unit 23 is a touch panel, a double operation is performed in response to an erase instruction, a recurrent speech instruction, an NG word registration, and an additional write instruction. Operation, long tap operation, flick operation, etc.
  • a three-dimensional gesture operation performed by the user A or the user B may be assigned to the deletion instruction, the recurrent speech instruction, the NG word registration, and the additional recording instruction.
  • the touch operation may be regarded as a two-dimensional gesture operation.
  • the three-dimensional gesture operation may be performed using a controller included in the acceleration sensor or the gyro sensor, or may be performed using an image recognition result related to the user's operation.
  • these touch operations and three-dimensional gesture operations may be simply referred to as “gesture operations”.
  • a nodding operation of the user B an operation of shaking the head, and the like can be assigned as the gesture operation.
  • the gaze detection function is employed in the wearable device, a physical action according to the movement of the gaze of the user B with respect to the displayed utterance text may be learned as a gesture operation. According to such a configuration, it is possible to improve the accuracy of the already-read determination according to the gesture operation.
  • a predetermined magic word uttered by the user A or the user B may be assigned to the erasure instruction, the recurrent speech instruction, the NG word registration, and the additional writing instruction.
  • the display of the utterance text corresponding to the utterance can be stopped. Good.
  • the discontinuation of the display of the utterance text can include the discontinuation of the display of the text in the middle of the analysis, that is, the discontinuation of the display processing of the undisplayed text.
  • the display of the utterance text is to be stopped, one sentence immediately before the erasure instruction is performed may be collectively erased by analyzing text information. As a result, it is possible to cancel text information (such as after words or fillers) that the user A has unintentionally input.
  • the information processing unit 30 immediately follows the predetermined gesture or the predetermined magic word. The display of the voice input that is input to may be prohibited. Thereby, since the user A can arbitrarily select a state in which no utterance is transmitted, the display of an unintended utterance can be suppressed.
  • FIG. 22 shows an example of a usage situation when the conversation support apparatus 10 can be used by three or more people.
  • the conversation support device 10 is used to support the conversation between the users A1, A2 and A3 who are not concerned about hearing and the user B who is concerned about hearing.
  • Each of the users A1 to A3 has a smartphone 50 for the user A, and the utterance texts corresponding to the utterances collected by the smartphones 50 existing in a predetermined distance range are grouped. Are collectively displayed on the display unit 43.
  • each smartphone 50 outputs a predetermined sound wave to each other, and can be realized by collecting and analyzing the sound wave output by other than itself.
  • the smartphone 50 may be detected from an image obtained by the camera 110 installed on the ceiling, and the position of each smartphone 50 may be specified.
  • utterance texts corresponding to the utterances of the users A1 to A3 are displayed in time series, and the displayed utterance text is uttered by whom of the users A1 to A3.
  • the speaker mark 121 representing the speaker is displayed in association with each utterance text so that the user B can determine whether it is present.
  • FIG. 23 shows the direction in which the speaker is in the state where the user B looks at the display unit 43 as another method for indicating who the user A1 to A3 is speaking the displayed utterance text. Is displayed on the screen.
  • the utterance direction instruction mark is displayed on the right side of the screen of the display unit 43. 131 is displayed.
  • the relative directions of the users A1, A2, and A3 when the user B looks at the display unit 43 can be detected from an image obtained by the camera 110 installed on the ceiling, for example.
  • FIG. 24 shows a situation in which the user A and the user B facing each other across the table are using the conversation support device 10.
  • the projector 80 may collectively project the screen of the display unit 22 for the user A and the screen of the display unit 43 for the user B onto the table.
  • the screen of the display unit 22 for the user A is displayed in a direction that the user A can easily read
  • the screen of the display unit 43 for the user B is displayed in a direction that the user B can easily read.
  • FIG. 25 shows an example of feedback to the user A who is the speaker among the users who are using the conversation support device 10.
  • the feedback control unit 40 controls the user A who is the speaker, for example, “SlowSdown”, “The screen is full”. , “Please speak slowly”, “Please wait”, “Please divide once”, “Feed unread”, etc. feedback to inform you to slow down the speaking rate, text display and voice output using smartphone 50 etc. Is done by.
  • an indicator corresponding to the utterance speed of the user A and the length of the utterance break may be displayed on the screen, or an alarm sound or the like may be output.
  • the user A When the user A speaks at an optimum speed or segmentation for voice recognition or screen display, the user A is given points, and the user A performs some service according to the given points. Benefits and rankings may be obtained.
  • the conversation support device 10 is used for the purpose of supporting the conversation between the user A who is not anxious about hearing and the user B who is uneasy about hearing.
  • the present invention can be applied to applications that support conversations between people using different languages. In that case, a translation process may be performed after the voice recognition process.
  • the conversation support device 10 may capture the mouth when the user A speaks as a moving image, display the utterance text, and display the moving image of the user A's mouth.
  • the display of the utterance text and the motion of the moving image of the user A's mouth may be displayed in synchronization.
  • the conversation support device 10 can be used for learning lip reading, for example.
  • the conversation support device 10 may record the utterance of the user A and store the utterance text that is the voice recognition result in association with the utterance text so that the saved result can be reproduced and displayed later.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • the smartphone 50 in the second configuration example described above corresponds to the computer.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • the present technology can also have the following configurations.
  • a voice acquisition unit that acquires the voice information of the first user input to the voice input device;
  • a display control unit for controlling display of text information corresponding to the acquired voice information in a display device for a second user, The display control unit controls the display amount of the text information based on at least one of the display amount of the text information on the display device or the input amount of the voice information input from the voice input device.
  • Processing equipment (2) The information processing apparatus according to (1), wherein the display control unit suppresses a display amount of the text information when a display amount of the text information becomes a predetermined amount or more.
  • the information processing apparatus according to (1) or (2), wherein the display control unit suppresses a display amount of the text information by suppressing a display amount of a predetermined part of speech included in the text information.
  • the display control unit suppresses a display amount of the text information based on a predetermined operation by the first user or the second user. apparatus.
  • the predetermined operation includes a first operation by the first user or the second user, The information processing apparatus according to (4), wherein the display control unit deletes the display of the text information based on the first operation after suppressing the display amount of the text information.
  • the predetermined operation includes a second operation by the first user or the second user
  • the information processing apparatus according to (5) wherein after the display of the text information is erased, the display control unit displays the text information erased in the display device again based on the second operation. .
  • information indicating that an operation related to the text information has been performed is used as information indicating the first user or the second user.
  • the information processing apparatus according to any one of (1) to (7), further including a notification unit that notifies the other of the information.
  • the notification unit may notify the other of the first user or the second user, The information processing apparatus according to (8), which notifies that the display amount of the text information is suppressed.
  • the notification unit may notify the other of the first user or the second user, The information processing apparatus according to (8) or (9), wherein the information indicating that the display of the text information has been deleted is notified.
  • the notification unit When the second user performs an operation for requesting re-speech of the text information displayed on the display device, the notification unit performs a notification to prompt the re-speech to the first user. ) To (10). (12) When the second user performs an operation for requesting an inquiry about the text information displayed on the display device, the notification unit has received an inquiry about the text information from the first user.
  • the information processing apparatus according to any one of (8) to (11).
  • the display control unit suppresses a display amount of the text information on the display device based on a result of the second user's read detection based on at least one of the second user's utterance or action.
  • the information processing apparatus according to any one of 1) to (12).
  • the information processing apparatus according to any one of (1) to (13), wherein the display control unit stops displaying the text information on the display device based on at least one of the utterance or action of the first user. .
  • a feedback control unit that controls notification of feedback information to at least one of the first user and the second user based on at least one of a display amount of the text information and an input amount of the audio information on the display device;
  • the information processing apparatus according to any one of (1) to (14).
  • the feedback information is information that prompts the first user to change at least one of an utterance speed and an utterance break.
  • the information processing apparatus according to (15) or (16), wherein the feedback information is information that prompts the second user to read the text information displayed on the display device.
  • a voice recognition unit that converts the voice information of the first user into the text information;
  • the information processing apparatus according to any one of (1) to (17), wherein the voice recognition unit is provided inside the information processing apparatus or on a server connected via the Internet.
  • a voice input device for acquiring voice information of the first user;
  • a display control device for controlling display of text information corresponding to the acquired voice information;
  • a display device for displaying the text information for a second user in accordance with control from the display control device;
  • the display control device performs control related to a display amount of the text information based on at least one of a display amount of the text information on the display device or an input amount of the voice information input from the voice input device. Processing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、聴力に不安を持つ人と円滑かつ自然な会話を行うことができるようにする情報処理装置、情報処理方法、および情報処理システムに関する。 本技術の一側面である情報処理装置は、音声入力装置に入力された第１のユーザの音声情報を取得する音声取得部と、第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御部とを備え、前記表示制御部は、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記表示装置における前記テキスト情報の表示量に関する制御を行う。本技術は、聴力に不安がある人の会を支援する会話支援装置に適用できる。

Description

情報処理装置、情報処理方法、および情報処理システム
　本技術は、情報処理装置、情報処理方法、および情報処理システムに関し、特に、音声認識を利用した自然な会話を支援できるようにした情報処理装置、情報処理方法、および情報処理システムに関する。
　スマートフォン等を利用した音声認識アプリケーションプログラムとして、ユーザの発話をテキスト化して画面に表示する技術が知られている。さらに、音声認識結果のテキストを要約する技術も存在する（例えば、特許文献１参照）。
WO２０１４－０６１３８８
　ただし、スマートフォン等を利用した音声認識アプリケーションプログラムの場合、テキスト化された文章の表示量に限界がある。このため、音声認識を利用したコミュニケーションの提供に関して改善が求められている。
　本技術はこのような状況に鑑みてなされたものであり、音声認識を利用した自然な会話を支援する技術である。
　本技術の一側面である情報処理装置は、音声入力装置に入力された第１のユーザの音声情報を取得する音声取得部と、第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御部とを備え、前記表示制御部は、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う。
　本技術の一側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置による、音声入力装置に入力された第１のユーザの音声情報を取得する音声取得ステップと、第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御ステップとを含み、前記表示制御ステップは、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う。
　本技術の一側面であるプログラムは、第１のユーザの音声情報を取得する音声入力装置と、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御装置と、前記表示制御装置からの制御に従い、前記テキスト情報を第２のユーザのために表示する表示装置とを備え、前記表示制御装置が、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う。
　本技術の一側面においては、入力された第１のユーザの音声情報が取得され、第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示が制御される。この表示制御では、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御が行われる。
　本技術の一側面によれば、音声認識を利用した自然な会話を行うことができる。
本技術を適用した会話支援装置の第１の構成例を示す図である。 本技術を適用した会話支援装置の内部構成例を示すブロック図である。 情報処理部の機能ブロック図である。 本技術を適用した会話支援装置の第２の構成例を示す図である。 会話支援装置の構成要素を第２の構成例に対応して区分したブロック図である。 本技術を適用した会話支援装置の第３の構成例を示す図である。 会話支援装置の構成要素を第３の構成例に対応して区分したブロック図である。 本技術を適用した会話支援装置の第４の構成例を示す図である。 会話支援装置の構成要素を第４の構成例に対応して区分したブロック図である。 表示待ちリスト生成処理を説明するフローチャートである。 発話テキスト表示処理を説明するフローチャートである。 既読判定の例を示す図である。 テキスト量抑制処理の具体例を説明するための図である。 テキスト量抑制処理の具体例を説明するための図である。 テキスト量抑制処理の具体例を説明するための図である。 テキスト量抑制処理の具体例を説明するための図である。 テキスト量抑制処理の具体例を説明するための図である。 編集処理（消去）の具体例を説明するための図である。 編集処理（再発話）の具体例を説明するための図である。 編集処理（NGワード登録）の具体例を説明するための図である。 編集処理（追記）の具体例を説明するための図である。 会話支援装置の応用例を説明するための図である。 会話支援装置の応用例を説明するための図である。 会話支援装置の応用例を説明するための図である。 発話者に対するフィードバックの例を説明するための図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜本技術の実施の形態である会話支援装置の第１の構成例＞
　図１は、本技術の実施の形態である会話支援装置の第１の構成例を示しており、会話支援装置１０を１つの筐体として形成した場合を示している。
　会話支援装置１０は、聴力に不安を持たない人（以下、ユーザＡと称する）と、聴力に不安を持つ人（以下、ユーザＢと称する）との間の会話を支援するためのものである。なお、本技術の一側面における第１のユーザが、本構成例のユーザＡに対応し、本技術の一側面における第２のユーザが、本構成例のユーザ２に対応するものと見做してもよい。ただし、本技術の一側面における第１のユーザは、音声を入力するユーザであればよい。すなわち、第１のユーザ（音声を入力するユーザ）は、単一の主体（ユーザ）に限定されず、複数の主体（ユーザ）であり得る。同様に、本技術の一側面における第２のユーザは、表示された発話テキストを視認するユーザであればよく、単一の主体に限定されず、複数の主体であり得る。
　具体的には、ユーザＡの発話を音声認識処理によってテキスト（以下、発話テキストと称する）に変換し、その発話テキストをユーザＢ用の表示部４３に表示する。この表示をユーザＢが読むことにより、ユーザＢは、ユーザＡの発話（音声情報）に対応する発話テキスト（文字情報）を理解することができる。
　表示部４３に表示された発話テキストは、ユーザＢが読み終わるか、または、所定に時間が経過するまで表示される。
　表示された発話テキストがユーザＢによって読み終わったか否かの判定には、例えば、撮像部４１によって撮像された画像からユーザＢの画像や、集音部４２によって集音されたユーザＢの発話が用いられる。
　なお、ユーザＢ用の表示部４３に裏面側には、ユーザＡ用の表示部２２（図２）が設けられており、表示部２２には、表示部４３と同様の表示、すなわち、ユーザＡの発話に対応する発話テキストが表示される。これにより、ユーザＡは、自身の発話が正しく音声認識されたか否かを確認することができる。
　＜本技術の実施の形態である会話支援装置の構成例＞
　図２は、本技術の実施の形態である会話支援装置の内部の構成例を示すブロック図である。
　会話支援装置１０は、集音部２１、表示部２２、操作入力部２３、情報処理部３０、撮像部４１、集音部４２、表示部４３、および操作入力部４４を有する。
　集音部２１、表示部２２、および操作入力部２３は、主にユーザＡに対応するために設けられている。
　集音部２１は、ユーザＡが話す音声（発話）を集音し、それに対応する発話信号を情報処理部３０に供給する。表示部２２は、情報処理部３０から供給される画像信号（例えば、ユーザＡの発話に対応する発話テキストを画面上に表示するための画像信号）に対応する画面を表示する。操作入力部２３は、ユーザＡからの各種の操作を受け付けて、それに対応する操作信号を情報処理部３０に通知する。
　情報処理部３０は、集音部２１から供給される発話信号を音声認識処理によって発話テキストに変換する。また、情報処理部３０は、発話テキストを画面上に表示するための画像信号を表示部４３に供給する。なお、情報処理部３０の詳細については後述する。
　撮像部４１、集音部４２、表示部４３、および操作入力部４４は、主にユーザＢに対応するために設けられている。
　撮像部４１は、ユーザＢ等を撮像し、その結果得られる動画像信号を情報処理部３０に供給する。集音部４２は、ユーザＢが話す音声（発話）を集音し、それに対応する発話信号を情報処理部３０に供給する。表示部４３は、情報処理部３０から供給される、ユーザＡの発話に対応する発話テキストを画面上に表示するための画像信号に対応する画面を表示する。操作入力部４４は、ユーザＢからの各種の操作を受け付けて、それに対応する操作信号を情報処理部３０に通知する。
　＜情報処理部３０が有する機能ブロックの構成例＞
　図３は、情報処理部３０が有する機能ブロックの構成例を示している。
　情報処理部３０は、音声認識部３１、画像認識部３２、誤認識学習部３３、解析部３５、編集部３６、追記学習部３７、表示待ちリスト保持部３８、表示制御部３９、およびフィードバック部４０を有する。
　音声認識部３１は、集音部２１から供給されるユーザＡの発話に対応する発話信号を音声認識処理によって発話テキストに変換することにより発話テキストを生成し、解析部３５に供給する。
　また、音声認識部３１は、集音部４２から供給されるユーザＢの発話に対応する発話信号を音声認識処理によって発話テキストに変換し、該発話テキストがユーザＢの既読を表す特定のキーワード（予め登録されている、例えば「はい」、「うん」、「わかった」、「了解」、「次」等）を検出し、検出結果を表示制御部３９に供給する。
　画像認識部３２は、撮像部４１から供給される動画像信号に基づき、ユーザＢの既読を表す特定の動作（例えば、うなずき、画面を注視していた後に画面以外の方向を見る等）を検出し、検出結果を表示制御部３９に供給する。また、画像認識部３２は、撮像部４１から供給される動画像信号に基づき、ユーザＢと表示部４３との距離を測定し、測定結果を表示制御部３９に通知する。ユーザＢと表示部４３との距離は、表示部４３に表示する発話テキストの文字サイズを設定するために用いられる。例えば、ユーザＢと表示部４３との距離が長いほど、大きな文字サイズに設定される。
　なお、後述するヘッドマウントディスプレイ等のウェアラブル機器を用いる場合、ウェアラブル機器の向き、すなわちユーザＢの頭の向きや体の向きに基づいて視線方向が判定されてもよい。ウェアラブル機器の向きは、ウェアラブル機器に設けられたカメラ、加速度センサ、ジャイロセンサ等から取得される位置情報に基づいて判定され得る。また、赤外線カメラと赤外線ＬＥＤを利用して、ユーザＢの眼球のプルキニエ像と瞳孔中心を判定し、これらに基づいてユーザＢの視線方向を判定してもよい。
　誤認識学習部３３は、音声認識処理の結果であるユーザＡの発話に対応する発話テキストに対し、ユーザＡまたはユーザＢから入力される編集操作（例えば、消去指示操作、再発話指示操作、NGワード登録指示操作）に対応し、その発話テキストに含まれる誤認識されている単語を誤認識リスト３４に登録する。また、誤認識学習部３３は、音声認識処理の結果であるユーザＡの発話に対応する発話テキストに、誤認識リスト３４に登録された単語が含まれている場合、音声認識部３１に対して、誤認識されている単語（認識結果の第１候補）以外の認識結果（第２候補等）を要求する。
　解析部３５は、音声認識部３１によって生成されたユーザＡの発話に対応する発話テキストを、例えば、品詞に分解したり、キーワードを抽出したりする等の解析を行う。
　編集部３６は、解析部３５による解析結果に基づき、発話テキストに対して、適宜、改行や改頁を加えたり、消去しても発話テキストが有する意味を損なわない助詞等を特定するテキスト量抑制処理を行ったりする編集処理を行い、表示待ちリスト保持部３８に供給する。なお、編集処理では、改行、改頁またはテキスト量抑制処理のうち少なくとも一つが行われるものと見做されてよく、改行、改頁またはテキスト量抑制処理のうち少なくとも一つが省略されてもよい。
　また、編集部３６は、関連している複数の発話テキストをスレッドにまとめて表示待ちリスト保持部３８に供給するようにすることができる。この場合、現在のスレッドを表示しつつ、表示待ちのスレッドに対応するアイコンを表示するようにしてもよい。表示待ちのスレッドを示す表示オブジェクトはアイコンに限定されず、適宜設定がなされてよい。このような構成によれば、ユーザＢが、どの程度相手の発話テキストを読み終えたのかを容易に把握することができる。また、このような構成によれば、発話テキストの進捗状況に基づいて、ユーザＢがユーザＡの入力量を抑制するよう働き掛けることができる。
　さらに、編集部３６は、表示部２２に表示されている、ユーザＡの発話に対応する発話テキストに対し、操作入力部２３を用いてユーザＡが入力する編集操作に基づき、発話テキストの一文を消去したり、再発話に対応する発話テキストを挿入したり、NGワードを登録したりする処理を制御する。また、編集部３６は、表示部２２に表示されている、ユーザＡの発話に対応する発話テキストに対し、操作入力部２３を用いてユーザＡが入力する追記操作（具体的には、「？（クエスチョンマーク）」等の記号を追加する操作）に基づき、発話テキストに「？」等の記号を追加する処理を制御する。なお、「？」以外の記号、絵文字、顔文字等を追記できるようにしてもよい。
　なお、編集部３６は、表示部４３に表示されている、ユーザＡの発話に対応する発話テキストに対し、操作入力部４４を用いてユーザＢが入力する編集操作や追記操作にも基づいて、編集処理を行うことができる。換言すれば、表示されている、ユーザＡの発話に対応する発話テキストに対しては、ユーザＡとユーザＢの双方が、編集操作や追記操作を行うことができる。
　追記学習部３７はユーザＡまたはユーザＢが入力する追記操作を学習し、学習結果に基づき、ユーザＡまたはユーザＢからの追記操作が無くても、同様の発話テキストに対して同様の記号等を追記するように編集部３６を制御する。
　例えば、ユーザＡの発話に対応する発話テキスト「薬は飲んだの」に対して「？」の追加を指示する追記操作が学習された場合、発話テキスト「薬は飲んだの」に対し、ユーザＡまたはユーザＢからの追記操作が無くても「？」を追加して「薬は飲んだの？」と編集するように編集部３６を制御する。
　表示待ちリスト保持部３８は、改行、改頁、またはテキスト量抑制処理のうちの少なくとも一つを含む編集処理済の発話テキスト（文字数によってはテキスト量抑制処理が行われない場合もある）を時系列順、すなわち、ユーザＡが発話した順に表示待ちリストに登録する。表示待ちリストに登録された発話テキストは、表示制御部３９から読み出された場合、表示待ちリストから消去される。
　表示制御部３９は、表示待ちリストから時系列順に発話テキストを読み出し、読み出した発話テキストを画面上に表示するための画像信号を生成して表示部２２および表示部４３に供給する。また、表示制御部３９は、表示部２２および表示部４３に現在表示されている発話テキストの表示量、音声認識部３１から供給される、ユーザＢの既読を表す特定のキーワードの検出結果、画像認識部３２から供給されるユーザＢの既読を表す特定の動作の検出結果等に基づき、表示部２２および表示部４３における発話テキストの表示量を制御する。さらに、表示制御部３９は、ユーザＢと表示部４３との距離に応じて発話テキストを表示する際の文字サイズを設定する。
　フィードバック制御部４０は、ユーザＡの発話速度、ユーザＡの発話の長さ、単位時間当たりの音声認識文字量、表示部４３に表示されている発話テキストの量、表示待ちリストに登録されている発話テキストの量、ユーザＢの既読の有無、ユーザＢの読み取り速度等に対応して、発話者であるユーザＡに対し、文字表示や音声出力を用いて、発話速度を早く（または遅く）するように通知したり、発話を区切るように通知したり、次の発声を促したりするフィードバックを制御する。また、フィードバック制御部４０は、表示部４３に表示されている発話テキストの量、表示待ちリストに登録されている発話テキストの量、ユーザＢの既読の有無、ユーザＢの読み取り速度等に対応して、ユーザＢに対し、文字表示等を用いて、発話テキストを読むように促すフィードバックを制御する。
　なお、情報処理部３０が有する上述した機能ブロックは、全てが同一の筐体に収められている必要はなく、分散して配置されていてもよい。また、これらの機能ブロックの一部または全てがインターネット上のサーバ、いわゆる、クラウドネットワーク上に配置されていてもよい。
　＜本技術の実施の形態である会話支援装置の第２の構成例＞
　図４は、本技術の実施の形態である会話支援装置の第２の構成例を示している。該第２の構成例では、会話支援装置１０が異なる複数の電子装置から成るシステムとして構成される。この場合、会話支援装置１０を構成する複数の電子装置間の接続は、有線接続でもよいし、所定の無線通信（例えば、Bluetooth（登録商標）、Wi-Fi（商標）等）を用いてもよい。
　該第２の構成例は、会話支援装置１０が、ユーザＡが用いるスマートフォン５０と、ユーザＢが用いるタブレット型PC（以下、タブレットと称する）６０から構成される。
　図５は、図２に示された会話支援装置１０の構成要素を、スマートフォン５０とタブレット型PC６０とに区分した状態を示している。
　すなわち、会話支援装置１０の構成要素のうち、集音部２１、表示部２２、操作入力部２３、および情報処理部３０は、スマートフォン５０によって実現される。この場合、スマートフォン５０が備えるマイクロフォン、ディスプレイ、およびタッチパネル等がそれぞれ、集音部２１、および操作入力部２３に相当する。また、スマートフォン５０が実行するアプリケーションプログラムが情報処理部３０に相当する。
　また、会話支援装置１０の構成要素のうち、撮像部４１、集音部４２、表示部４３、および操作入力部４４は、タブレット６０によって実現される。この場合、タブレット６０が備えるカメラ、マイクロフォン、ディスプレイ、およびタッチパネル等がそれぞれ撮像部４１、集音部４２、表示部４３、および操作入力部４４に相当する。
　ただし、図５の場合、情報処理部３０が有する機能ブロックのうちの音声認識部３１が、インターネット７１を介して接続可能なサーバ７２に配置されている。
　＜本技術の実施の形態である会話支援装置の第３の構成例＞
　図６は、本技術の実施の形態である会話支援装置の第３の構成例を示している。該第３の構成例は、会話支援装置１０が異なる複数の電子装置から成るシステムとして構成される。
　すなわち、該第３の構成例は、ユーザＡが用いるスマートフォン５０と、ベッドに横たわるユーザＢが見ることができる位置、例えば、部屋の壁や天井に、発話テキストを表示する映像を投影するプロジェクタ８０と、天井などに配置されているカメラ１１０とから構成される。
　図７は、図２に示された会話支援装置１０の構成要素を、スマートフォン５０と、プロジェクタ８０と、カメラ１１０とに区分した状態を示している。
　すなわち、会話支援装置１０の構成要素のうち、集音部２１、表示部２２、操作入力部２３、および情報処理部３０は、スマートフォン５０によって実現される。
　また、会話支援装置１０の構成要素のうち、撮像部４１、および集音部４２は、カメラ１１０によって実現される。この場合、カメラ１１０が備えるイメージセンサ、およびマイクロフォンがそれぞれ撮像部４１、および集音部４２に相当する。
　会話支援装置１０の構成要素のうち、表示部４３、および操作入力部４４は、プロジェクタ８０によって実現される。この場合、プロジェクタ８０が備える投影部、およびリモートコントローラがそれぞれ表示部４３、および操作入力部４４に相当する。
　図７の場合も、情報処理部３０が有する機能ブロックのうちの音声認識部３１が、インターネット７１を介して接続可能なサーバ７２に配置されている。
　＜本技術の実施の形態である会話支援装置の第４の構成例＞
　図８は、本技術の実施の形態である会話支援装置の第４の構成例を示している。該第４の構成例は、会話支援装置１０が異なる複数の電子装置から成るシステムとして構成される。
　すなわち、該第４の構成例は、ユーザＡが用いる首掛けマイク１００と、ユーザＡおよびユーザＢが見ることができる位置に配置されているテレビジョン受像機（以下、ＴＶと称する）９０と、ＴＶ９０に載置されているカメラ１１０とから構成される。
　図９は、図２に示された会話支援装置１０の構成要素を、首掛けマイク１００と、ＴＶ９０と、カメラ１１０とに区分した状態を示している。
　すなわち、会話支援装置１０の構成要素のうち、集音部２１は、首掛けマイク１００によって実現される。なお、首掛けマイク１００には、集音部２１の他、音声を出力するスピーカが設けられていてもよい。
　会話支援装置１０の構成要素のうち、撮像部４１、および集音部４２は、カメラ１１０によって実現される。
　会話支援装置１０の構成要素のうち、表示部４３、および操作入力部４４は、ＴＶ９０によって実現される。この場合、ＴＶ９０が備えるディスプレイ、およびリモートコントローラがそれぞれ表示部４３および操作入力部４４に相当する。なお、ＴＶ９０が備えるディスプレイ、およびリモートコントローラは、ユーザＡ用の表示部２２および操作入力部２３を兼ねているものとする。
　図９の場合も、情報処理部３０が有する機能ブロックのうちの音声認識部３１が、インターネット７１を介して接続可能なサーバ７２に配置されている。
　上述した第１乃至第４の構成例のように、会話支援装置１０は、１つの電子装置として構成することができるし、複数の電子装置を組み合わせたシステムとして構成することもできる。なお、上述した第１乃至第４の構成例は、適宜組み合わせることが可能である。
　また、会話支援装置１０をシステムとして構成する電子装置としては、上述した例の他、時計型端末やヘッドマウントディスプレイ等のウェアラブル機器、PC（パーソナルコンピュータ）用のモニタ等を採用することができる。
　＜会話支援装置１０の動作＞
　次に、会話支援装置１０の動作について説明する。
　図１０は、会話支援装置１０による表示待ちリスト生成処理を説明するフローチャートである。この表示待ちリスト生成処理は、会話支援装置１０が起動された後、電源がオフとされるまで、繰り返して実行される。
　ステップＳ１において、ユーザＡが発話すると、その音声が集音部２１によって取得される。集音部２１は、ユーザＡの音声を発話信号に変換して情報処理部３０に供給する。ステップＳ２において、情報処理部３０では音声認識部３１が音声認識処理を行うことにより、ユーザＡの発話に対応する発話信号を発話テキストに変換する。
　ステップＳ３において、解析部３５は、音声認識部３１によって生成されたユーザＡの発話に対応する発話テキストを解析する。ステップＳ４において、編集部３６は、解析結果に基づき、ユーザＡの発話に対応する発話テキストに対し、改行、改頁、またはテキスト量抑制処理のうちの少なくとも一つを含む編集処理を行い、編集処理済の発話テキストを表示待ちリスト保持部３８に供給する。
　ステップＳ５において、表示待ちリスト保持部３８は、編集部３６から供給された編集処理済の発話テキストを時系列順に保持する。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。
　図１１は、会話支援装置１０による発話テキスト表示処理を説明するフローチャートである。この発話テキスト表示処理は、上述した表示待ちリスト生成処理と並行し、会話支援装置１０が起動された後、電源がオフとされるまで、繰り返して実行される。
　ステップＳ１１において、表示制御部３９は、現在、表示部２２および４３の画面に発話テキストが表示されているか否かを判定する。表示されていると判定した場合、処理はステップＳ１２に進められる。ステップＳ１２において、表示制御部３９は、現在表示されている発話テキストの表示が開始されてから、予め定められている最短表示時間が経過しているか否かを判定し、最短表示時間が経過するまで待機する。最短表示時間が経過した場合、処理はステップＳ１３に進められる。
　ステップＳ１３において、表示制御部３９は、音声認識部３１から供給される、ユーザＢの既読を表す特定のキーワードの検出結果、および画像認識部３２から供給される、ユーザＢの既読を表す特定の動作の検出結果に基づき、表示されている発話テキストに対するユーザＢの既読を検知できたか否かを判定する。
　図１２は、ステップＳ１３におけるユーザＢの既読検知の判定の例を示している。
　例えば、ユーザＢによる発話の音声認識結果から「うん」等の既読を表す特定のキーワードが検出された場合、それが検知できた時点でユーザＢが理解したと推定し、ユーザＢの既読を検知できたと判定する。
　また例えば、ユーザＢを撮像した動画像の画像認識結果から、うなずき等の既読を表す特定の動作が検出された場合、それが所定回数（例えば、２回）検知できた時点でユーザＢが理解したと推定し、ユーザＢの既読を検知できたと判定する。
　また例えば、ユーザＢを撮像した動画像の画像認識結果から、ユーザＢが画面（表示部４３）を注視していた後に画面以外の方向を見る状態が検出された場合、それが所定時間継続した時点でユーザＢが理解したと推定し、ユーザＢの既読を検知できたと判定する。
　また例えば、ユーザＡによる発話の音声認識結果から、ユーザＡが新たに発話したことが検出された場合、それが検知できた時点でユーザＡとユーザＢの間で会話が進行しており、ユーザＢが理解したと推定し、ユーザＢの既読を検知できたと判定する。
　なお、ユーザＢの既読判定は、上述した例に限られるものではない。例えば、既読を表す特定のキーワードや、既読を表す特定の動作については、ユーザが任意に追加できるようにしてもよい。
　図１２に戻り、ステップＳ１３において、ユーザＢの既読を検知できなかった場合、処理はステップＳ１４に進められる。ステップＳ１４において、表示制御部３９は、現在表示されている発話テキストの表示が開始されてから、予め定められている最長表示時間が経過しているか否かを判定し、最長表示時間が経過するまで処理をステップＳ１３に戻してステップＳ１３およびＳ１４を繰り返す。そして、ユーザＢの既読を検知するか、または、最長表示時間が経過した場合、処理はステップＳ１５に進められる。
　ステップＳ１５において、表示制御部３９は、表示待ちリストから時系列順に発話テキストを読み出し、読み出した発話テキストを画面上に表示するための画像信号を生成して表示部２２および表示部４３に供給する。このとき、表示部２２および表示部４３の画面が既に発話テキストで一杯である場合、画面がスクロールされて、最も先に表示されていた発話テキストが画面上から消え、新たに表示待ちリストから読み出された発話テキストが画面上に表示される。
　なお、ステップＳ１１において、現在、表示部２２および４３の画面に発話テキストが表示されていないと判定された場合、ステップＳ１２乃至Ｓ１４はスキップされて、処理はステップＳ１５に進められる。
　この後、処理はステップＳ１１に戻されて、それ以降が繰り返される。
　以上説明したように、表示待ちリスト生成処理と発話テキスト表示処理が平行して実行されることにより、ユーザＡの発話が発話テキストとしてユーザＢに提示され、ユーザＢの既読を待って、順次、発話テキストの表示が進められる。
　＜改行、改頁、またはテキスト量抑制処理のうちの少なくとも一つを含む編集処理の具体例＞
　次に、編集部３６による改行、改頁、またはテキスト量抑制処理のうちの少なくとも一つを含む編集処理の具体例について説明する。
　図１３は、例えば、小学生であるユーザＡと、その母親であるユーザＢとが、会話支援装置１０を用いて会話を行う場合の様子である。同図においては、ユーザＡが「昨日ね学校に行ったら修学旅行のお金を集めるから10000円持ってきてくれって言われた」と一気に区切ることなく発声しているものとする。
　図１４は、図１３に示された状況における表示部４３の表示例を示している。ただし、図１４のＡは編集処理が反映されていない状態を示し、図１４のＢは、編集処理のうち、改行、および改頁が反映された状態を示し、図１４のＣは改行、改頁、およびテキスト量抑制処理の全てが反映されている状態を示している。
　図１３に示されるように、ユーザＡが発声を区切ることなく一気に発生した場合、表示部４３には、当初、図１４のＡに示されるように、編集処理が反映されていない発話テキストが表示される。この状態は、意味や文脈に拘わりなく改行、改頁されるので、読みづらく、また、数値（同図の場合、10000円）が途中で分断されるため、数値を誤って理解されてしまう可能性が有る。
　図１４のＡの表示に対し、ユーザＢが第１の操作（例えば、画面をタップする操作）を行うと、編集処理のうちの改行、および改頁が反映されて、図１４のＢに示されるように、発話テキストの意味や文脈に応じた改行や改頁が行われるので、読み易くなり、数値などの誤理解を抑止できる効果が期待できる。
　図１４のＢの表示に対し、ユーザＢが第２の操作（例えば、画面をダブルタップする操作）を行うと、さらに、テキスト量抑制処理が反映されて、図１４のＣに示されるように、発話テキストのテキスト量が、意味や文脈が損なわれることなく抑制される。よって、上述した効果に加えて、ユーザＢの既読に要する時間を短縮できる効果を期待できる。
　なお、図１４のＣの表示に対し、ユーザＢが第３の操作（例えば、画面をスワイプする操作）を行うと、表示されている発話テキストが画面から消去されるようにしてもよい。
　また、図１４のＢの表示に対し、ユーザＢが第１の操作を行った場合、図１４のＡの表示に戻るようにしてもよい。同様に、図１４のＣの表示に対し、ユーザＢが第２の操作を行った場合、図１４のＢの表示に戻るようにしてもよい。
　あるいは、図１４のＡの表示に対し、ユーザＢが第１の操作を行うと図１４のＢの表示となり、さらに、ユーザＢが第１の操作を行うと図１４のＣの表示となり、さらに、ユーザＢが第１の操作を行うと、表示されている発話テキストが画面から消去されるようにしてもよい。この後、再びユーザＢが第１の操作を行う毎に、図１４のＣ、図１４のＢ、または図１４のＡの表示に戻るようにしてもよい。
　なお、上述した説明では、ユーザＢによる操作に対応して、表示されている発話テキストに編集処理を反映するようにしたが、ユーザＡによる操作に応じて、表示されている発話テキストに編集処理を反映することも可能である。また、第１の操作、第２の操作、または第３の操作の少なくとも一つが、本技術の一側面における所定の操作として見做されてもよい。
　＜テキスト量抑制処理を含む編集処理の他の具体例＞
　次に、テキスト量抑制処理を含む編集処理の他の具体例について説明する。
　図１５は、ユーザＡとユーザＢが会話支援装置１０を用いて会話を行う場合の様子である。ただし、ユーザＢの図示は省略されている。同図の場合、ユーザＡが「おはようございます」、「明日は１０時に品川駅に集合ね」等と比較的短い文を区切って発声しているものとする。
　図１６は、図１５に示されたユーザＡの発話に対応する発話テキストの表示部４３における表示例を示している。ユーザＡに発話が比較的短い文を区切って発声している場合、それに対応する発話テキストも、同図に示されるように、短分毎に区切って表示される。なお、同図の場合、「おはようございます」以外の発話テキストは、名詞や動詞を残して助詞等を消去するテキスト量抑制処理が反映された状態が表示されている。すなわち、本具体例のテキスト量抑制処理において、発話テキストの意味や文脈の理解のための重要性が低い品詞が適宜省略される。なお、省略する文言は品詞に限られず、ユーザによって適宜設定されてもよい。
　なお、消去しても発話テキストの意味や文脈が損なわれない助詞等を消去する代わりに、助詞等を、発話テキストの意味や文脈に関わる名詞や動詞等よりも目立たないように表示してもよい。換言すれば、名詞や動詞等が助詞等よりも目立つように発話テキストを表示するようにしてもよい。
　図１７は、助詞等の文字サイズを、発話テキストの意味や文脈に関わる名詞や動詞等よりも小さくして、名詞や動詞等を目立たせるようにした表示例を示している。
　また図示は省略するが、助詞等の文字の色を薄く、名詞や動詞等の文字の色を濃く表示するようにしたり、助詞等の文字の輝度を低く、名詞や動詞等の文字の輝度を高く表示するようにしたり、助詞等の文字の線を細く、名詞や動詞等の文字の線を太く表示するようにしたりしてもよい。
　上述したように、発話テキストの意味に影響を及ぼさない助詞等を目立たせず、発話テキストの意味に影響を及ぼす名詞や動詞等を目立つように表示すれば、ユーザＢは、目立たない助詞等を読まず、目立つ名詞や動詞等を読むことになる。よって、発話テキストが有する意味を損なうことなく、ユーザＢが既読するまでに要する時間を短縮することができる。
　＜編集部３６による編集処理の具体例＞
　次に、画面上に表示された発話テキストに対するユーザによるボタン操作に対応した編集処理について説明する。
　図１８は、ユーザＡ用の表示部２２に表示される各発話テキストに対応して消去ボタン１１１を設けた場合の表示例を示している。なお、図１８に示される各発話テキストは、図１５に示されたユーザＡに発話に対応するものである。
　例えば、ユーザＡが自身の発話の音声認識結果である発話テキストに誤認識を発見した場合、消去ボタン１１１を操作することにより、当該発話テキストを消去させることができる。
　図１８の表示例の場合、本来であれば「品川」に認識されるべき単語が「自奈川」に誤認識されているので、この誤認識を発見したユーザＡが消去ボタン１１１を操作すると、「自奈川」を含む発話テキストが消去される。そして、「自奈川」を含む発話テキストが消去されたことが誤認識学習部３３に学習される（誤認識リスト３４に登録される）。
　すなわち、ユーザＡは、消去ボタン１１１を操作することにより、誤認識された発話テキストや言い間違えた発話に対応する発話テキストを消去することができる。
　なお、ユーザＢ用の表示部４３にも消去ボタン１１１を設けることができる。その場合、ユーザＢは、消去ボタン１１１を操作することにより、例えば、読み終わった発話テキストを消去することができる。
　ユーザＢによる消去ボタン１１１の操作によって発話テキストを消去した場合、その旨をユーザＡ側に通知するようにする。これにより、ユーザＡは、消去された発話テキストに対するユーザＢの既読を確認することができる。反対に、ユーザＡによる消去ボタン１１１の操作によって発話テキストを消去した場合、その旨をユーザＢ側に通知するようにしてもよい。この通知の方法は、画面表示を用いてもよいし、音声出力を用いてもよい。
　図１９は、ユーザＡ用の表示部２２に表示される各発話テキストに対応して再発話ボタン１１２を設けた場合の表示例を示している。なお、図１９に示される各発話テキストは、図１５に示されたユーザＡに発話に対応するものである。
　例えば、ユーザＡが自身の発話の音声認識結果である発話テキストに誤認識を発見した場合、再発話ボタン１１２を操作することにより、当該発話テキストを言い直す（再度発話する）ことができる。
　図１９の表示例の場合、本来であれば「品川」に認識されるべき単語が「自奈川」に誤認識されているので、この誤認識を発見したユーザＡが再発話ボタン１１２を操作し、改めて「明日は１０時に品川に集合ね」等と発声すると、現在表示されている「明日は１０時に自奈川に集合ね」が、再発話の音声認識結果である発話テキスト（正しく認識された場合「明日は１０時に品川に集合ね」）によって置換される。また、「自奈川」を含む発話テキストが置換されたことが誤認識学習部３３に学習される（誤認識リスト３４に登録される）。
　すなわち、ユーザＡは、再発話ボタン１１２を操作することにより、誤認識された発話テキストや言い間違えた発話に対応する発話テキストの表示を、その位置に再発話に対応する発話テキストによって置換させることができる。
　なお、発話テキスト全体（いまの場合、「明日は・・・集合ね」）を再発話するのではなく、単語（例えば、自奈川）を選択し、その単語だけを再発話できるようにしてもよい。
　また、ユーザＢ用の表示部４３にも再発話ボタン１１２を設けることができる。その場合、ユーザＢが再発話ボタン１１２を操作したことに対応して、ユーザＡ側に再発話を促すように通知するようにする。この通知の方法は、画面表示を用いてもよいし、音声出力を用いてもよい。
　図２０は、ユーザＡ用の表示部２２に表示される各発話テキストに対応してNGワード登録ボタン１１３を設けた場合の表示例を示している。なお、図２０に示される各発話テキストは、図１５に示されたユーザＡに発話に対応するものである。
　例えば、ユーザＡが自身の発話の音声認識結果である発話テキストに誤認識を発見し、その誤認識結果を再度出現させたくない場合、NGワード登録ボタン１１３を操作することにより、NGワードとして登録することができる。
　図２０の表示例の場合、ユーザＡの何らかの発話が「エロ漫画」と誤認識されて表示されており、この単語を２度と表示させたくないと思ったユーザＡがNGワード登録ボタン１１３を操作すると、表示されている発話テキスト「エロ漫画」が消去され、「エロ漫画」がNGワードとして誤認識学習部３３に登録される（誤認識リスト３４に登録される）。
　すなわち、ユーザＡは、NGワード登録ボタン１１３を操作することにより、誤認識され、再表示させたくない単語をNGワードとして登録することができる。
　なお、ユーザＢ用の表示部４３にもNGワード登録ボタン１１３を設けることができる。その場合、ユーザＢもNGワード登録ボタン１１３を操作することにより、再表示させたくない単語をNGワードとして登録することができる。
　図２１は、ユーザＡ用の表示部２２に表示される各発話テキストに対応して追記ボタン１１４を設けた場合の表示例を示している。なお、図２１に示される各発話テキストは、図１５に示されたユーザＡに発話に対応するものである。
　例えば、ユーザＡが自身の質問等の発話の音声認識結果である発話テキストに対して「？」を追記した方がユーザＢの理解が高まると考えた場合、追記ボタン１１４を操作することにより、当該発話テキストに「？」を追記することができる。
　図２１の表示例は、既に追記ボタン１１４が操作された結果を示しており、ユーザＡの発話に対応する発話テキスト「今日のお昼はもう薬飲んだ」に対して「？」が追記されている。この場合、「今日のお昼はもう薬飲んだ」に対して「？」が追記されたことが、追記学習部３７に登録される。
　すなわち、ユーザＡは、追記ボタン１１４を操作することにより、発話テキストに対して「？」を追記することができる。
　また、ユーザＢ用の表示部４３にも追記ボタン１１４を設けることができる。その場合、ユーザＢは、表示されている発話テキストの意味が分からなかったり、より詳細な内容を知りたかったりした場合などにおいて、表示されている発話テキストに含まれる単語等を選択した後、追記ボタン１１４を操作することにより、ユーザＡ側に単語等の意味を問い合わせることができる。
　なお、「？」以外の記号や絵文字、顔文字などを追記できるように、追記ボタン１１４が操作された場合、追記する記号等をユーザに選択させるようにしてもよい。
　上述した説明では、消去ボタン１１１、再発話ボタン１１２、NGワード登録ボタン１１３、および追記ボタン１１４を、それぞれ個別に表示するようにしているが、これらが同時に表示されるようにしてもよい。
　また、各ボタンを表示する代わりに、消去指示、再発話指示、NGワード登録、および追記指示に対して、所定のタッチ操作（例えば、操作入力部２３がタッチパネルである場合、タップ操作、ダブルタップ操作、ロングタップ操作、フリック操作等）を割り当てるようにしてもよい。さらに、各ボタンを表示する代わりに、消去指示、再発話指示、NGワード登録、および追記指示に対して、ユーザＡまたはユーザＢが行う三次元的なジェスチャ操作を割り当てるようにしてもよい。ここで、タッチ操作は二次元的なジェスチャ操作として見做されてもよい。また、三次元的なジェスチャ操作は、加速度センサやジャイロセンサが有するコントローラを利用して行われてもよく、ユーザの動作に関する画像認識結果を利用して行われてもよい。本明細書中において、これらのタッチ操作および三次元的なジェスチャ操作を、単に“ジェスチャ操作”という場合がある。
　なお、ウェアラブル機器、特にヘッドマウントディスプレイが用いられる場合、ジェスチャ操作としてユーザＢのうなずく動作や首を振る動作などがジェスチャ操作として割り当てられ得る。ウェアラブル機器に視線検出の機能が採用される場合、表示された発話テキストに対するユーザＢの視線の移動に応じた身体的動作をジェスチャ操作として学習してもよい。このような構成によれば、ジェスチャ操作に応じた既読判定の精度を高めることが可能になる。
　またさらに、各ボタンを表示する代わりに、消去指示、再発話指示、NGワード登録、および追記指示に対して、ユーザＡまたはユーザＢが発声する所定のマジックワードを割り当てるようにしてもよい。
　さらに、ユーザＡが発話の直後に、消去指示に割り当てられている所定のジェスチャを行うか、または所定のマジックワードを発声した場合、その発話に対応する発話テキストの表示を中止できるようにしてもよい。
　ここで、発話テキストの表示の中止は、解析途中のテキストの表示の中止、すなわち、未表示のテキストの表示処理の中止を含み得る。また、発話テキストの表示を中止する場合、テキスト情報の解析により、消去指示が行われる直前の一文をまとめて消去してもよい。これにより、ユーザＡが意図せず音声入力を行ってしまったテキスト情報（独り言やフィラー後など）をキャンセルすることが可能になる。また、発話の前に、ユーザＡが音声入力を行わないことを示す所定のジェスチャ、または所定のマジックワードを発声した場合、情報処理部３０は、当該所定のジェスチャ、または所定のマジックワードの直後に入力される音声入力の表示を禁止してもよい。これにより、ユーザＡは、発話を伝えない状態を任意に選択することができるため、意図しない発話の表示を抑制することができる。
　＜会話支援装置１０の応用例＞
　次に、会話支援装置１０の応用例について説明する。
　図２２は、会話支援装置１０を３人以上で使用できるようにした場合の使用状況の一例を示している。同図の場合、聴力に不安を持たないユーザＡ１，Ａ２，Ａ３と、聴力に不安を持つユーザＢとの間の会話を支援するために会話支援装置１０が使用されている。
　ユーザＡ１乃至Ａ３は、それぞれユーザＡ用のスマートフォン５０を有しており、所定の距離範囲に存在するスマートフォン５０がグループ化されて、それぞれが集音した発声に対応する発話テキストが、ユーザＢ用の表示部４３に一括して表示される。
　なお、所定の距離範囲に存在するスマートフォン５０を検知する方法としては、例えば、各スマートフォン５０が相互に所定の音波を出力し、自己以外が出力した該音波を集音、解析することで実現できる。また、例えば、天井に設置しているカメラ１１０によって得られる画像からスマートフォン５０を検知し、各スマートフォン５０の位置を特定するようにしてもよい。
　ユーザＢ用の表示部４３には、ユーザＡ１乃至Ａ３の発話に対応する発話テキストが時系列順に表示されるが、表示されている発話テキストが、ユーザＡ１乃至Ａ３の誰から発声されたものであるのかをユーザＢが判別できるように、各発話テキストに対応付けて発話者を表す発話者マーク１２１を表示するようにする。
　図２３は、表示されている発話テキストが、ユーザＡ１乃至Ａ３の誰から発声されたものであるのかを表す他の方法として、ユーザＢが表示部４３を見た状態において、発話者がどの方向に居るのかを表す発話方向指示マーク１３１を画面上に表示している。
　図２３の場合、ユーザＢが表示部４３を見た状態において右側に居るユーザＡ３の発話に対応する発話テキストが画面上に表示されているので、表示部４３の画面の右側に発話方向指示マーク１３１が表示される。
　なお、ユーザＢが表示部４３を見た状態におけるユーザＡ１，Ａ２，Ａ３の相対的な方向は、例えば、天井に設置しているカメラ１１０によって得られる画像から検知することができる。
　図２４は、テーブルをはさんで向かい合うユーザＡとユーザＢが会話支援装置１０を使用している状況である。この場合、プロジェクタ８０により、ユーザＡ用の表示部２２の画面とユーザＢ用の表示部４３の画面を一括して当該テーブルに投影するようにしてもよい。このとき、ユーザＡ用の表示部２２の画面はユーザＡが読み易い向きに、ユーザＢ用の表示部４３の画面はユーザＢが読み易い向きに表示するようにする。
　＜発話者であるユーザＡに対するフィードバック＞
　図２５は、会話支援装置１０を使用しているユーザのうち、発話者であるユーザＡに対するフィードバックの一例を示している。
　例えば、表示部４３における発話テキストの表示が一杯になった場合、フィードバック制御部４０に制御により、発話者であるユーザＡに対して、例えば「Slow down」、「画面が一杯になりました」、「ゆっくり話してください」、「待ってください」、「一度区切ってください」、「未読があります」等の発話速度を緩めるように通知するフィードバックが、スマートフォン５０等を用いた文字表示や音声出力によって行われる。
　なお、ユーザＡの発話速度や発話の区切りの長短に応じたインジケータを画面に表示したり、アラーム音等を出力したりするようにしてもよい。
　そして、ユーザＡが、音声認識や画面表示に対して最適な速度や区切りで発話している場合には、ユーザＡに対してポイントを付与し、付与されたポイントに応じてユーザＡが何らかのサービス特典やランキングを得られるようにしてもよい。
　＜他の応用例＞
　本実施の形態においては、会話支援装置１０を、聴力に不安を持たないユーザＡと、聴力に不安を持つユーザＢとの間の会話を支援する用途で用いるようにしたが、本技術は、例えば、使用する言語が異なる人どうしの会話を支援する用途に応用することができる。その場合、音声認識処理の後、翻訳処理を行うようにすればよい。
　また、会話支援装置１０により、ユーザＡが発話するときの口元を動画像として撮像しておき、発話テキストを表示するとともに、ユーザＡの口元の動画像を表示するようにしてもよい。この場合、発話テキストの表示と、ユーザＡの口元の動画像の動きを同期させて表示するようにしてもよい。このようにした場合、会話支援装置１０を、例えば、読唇術の学習の用いることができる。
　また、会話支援装置１０により、ユーザＡの発話を録音するとともに、その音声認識結果である発話テキストを対応付けて保存するようにし、この保存結果を後程改めて再生、表示できるようにしてもよい。
　さらに、会話支援装置１０に対して、ユーザＡによるリアルタイムの発話を入力するだけでなく、録音されている音声を入力できるようにしてもよい。
　＜情報処理部３０の他の構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。上記した第２の構成例におけるスマートフォン５０は、該コンピュータに相当する。
　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本技術は以下のような構成も取ることができる。
（１）
　音声入力装置に入力された第１のユーザの音声情報を取得する音声取得部と、
　第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御部と
　を備え、
　前記表示制御部は、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う
　情報処理装置。
（２）
　前記表示制御部は、前記テキスト情報の表示量が所定の量以上となった場合、前記テキスト情報の表示量を抑制する
　前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記テキスト情報に含まれる所定の品詞の表示量を抑制することによって、前記テキスト情報の表示量を抑制する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記第１のユーザまたは前記第２のユーザによる所定の操作に基づいて、前記テキスト情報の表示量を抑制する
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記所定の操作は、前記第１のユーザまたは前記第２のユーザによる第１の操作を含み、
　前記表示制御部は、前記テキスト情報の表示量を抑制した後、前記第１の操作に基づいて、前記テキスト情報の表示を消去させる
　前記（４）に記載の情報処理装置。
（６）
　前記所定の操作は、前記第１のユーザまたは前記第２のユーザによる第２の操作を含み、
　前記表示制御部は、前記テキスト情報の表示を消去させた後、前記第２の操作に基づいて、前記表示装置において消去させた前記テキスト情報を再び表示させる
　前記（５）に記載の情報処理装置。
（７）
　前記表示制御部は、前記テキスト情報の解析結果に従い、前記テキスト情報の表示の改行または改頁の少なくとも一方を制御する
　前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
　前記第１のユーザまたは前記第２のユーザの一方が前記テキスト情報に関する操作を行った場合、前記テキスト情報に関する操作が行われたことを示す情報を、前記第１のユーザまたは前記第２のユーザの他方に対して通知する通知部をさらに備える
　前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記通知部は、前記第１のユーザまたは前記第２のユーザの一方が、前記テキスト情報の表示量を抑制させる操作を行った場合、前記第１のユーザまたは前記第２のユーザの他方に、前記テキスト情報の表示量が抑制されたことを通知する
　前記（８）に記載の情報処理装置。
（１０）
　前記通知部は、前記第１のユーザまたは前記第２のユーザの一方が、前記テキスト情報の表示を消去する操作を行った場合、前記第１のユーザまたは前記第２のユーザの他方に、前記テキスト情報の表示が消去されたことを通知する
　前記（８）または（９）に記載の情報処理装置。
（１１）
　前記通知部は、前記第２のユーザが、前記表示装置に表示された前記テキスト情報の再発話を要求する操作を行った場合、前記第１のユーザに再発話を促す通知を行う
　前記（８）から（１０）のいずれかに記載の情報処理装置。
（１２）
　前記通知部は、前記第２のユーザが、前記表示装置に表示された前記テキスト情報に関する問い合わせを要求するための操作を行った場合、前記第１のユーザに前記テキスト情報に関する問い合わせがあったことを通知する
　前記（８）から（１１）のいずれかに記載の情報処理装置。
（１３）
　前記表示制御部は、前記第２のユーザの発声または動作の少なくとも一方に基づく前記第２のユーザの既読検知の結果に基づいて、前記表示装置における前記テキスト情報の表示量を抑制する
　前記（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
　前記表示制御部は、前記第１のユーザの発声または動作の少なくとも一方に基づき、前記表示装置における前記テキスト情報の表示を中止する
　前記（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
　前記表示装置における前記テキスト情報の表示量または前記音声情報の入力量の少なくとも一方に基づき、前記第１のユーザまたは前記第２のユーザの少なくとも一方に対するフィードバック情報の通知を制御するフィードバック制御部をさらに備える
　前記（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
　フィードバック情報は、前記第１のユーザに対して、発話速度、または発話区切りの少なくとも一方を変更するように促す情報である
　前記（１５）に記載の情報処理装置。
（１７）
　フィードバック情報は、前記第２のユーザに対して、前記表示装置に表示された前記テキスト情報の読み取りを促す情報である
　前記（１５）または（１６）に記載の情報処理装置。
（１８）
　前記第１のユーザの前記音声情報を前記テキスト情報に変換する音声認識部をさらに備え、
　前記音声認識部は、前記情報処理装置の内部、または、インターネットを介して接続するサーバ上に設けられている
　前記（１）から（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置の情報処理方法において、
　前記情報処理装置による、
　音声入力装置に入力された第１のユーザの音声情報を取得する音声取得ステップと、
　第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御ステップと
　を含み、
　前記表示制御ステップは、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う
　情報処理方法。
（２０）
　第１のユーザの音声情報を取得する音声入力装置と、
　取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御装置と、
　前記表示制御装置からの制御に従い、前記テキスト情報を第２のユーザのために表示する表示装置と
　を備え、
　前記表示制御装置は、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う
　情報処理システム。
　１０　会話支援装置，　２１　集音部，　２２　表示部，　２３　操作入力部，　３０　情報処理部，　３１　音声認識部，　３２　画像認識部，　３３　誤認識学習部，　３４　誤認識リスト，　３５　解析部，　３６　編集部，　３７　追記学習部，　３８　表示待ちリスト保持部，　３９　表示制御部，　４０　フィードバック制御部，　４１　撮像部，　４２　集音部，　４３　表示部，　４４　操作入力部，　５０　スマートフォン，　６０　タブレット型PC，　８０　プロジェクタ，　９０　TV，　１００　首掛けマイク，　１１０　カメラ，　１１１　消去ボタン，　１１２　再発話ボタン，　１１３　NGワード登録ボタン，　１１４　追記ボタン，　２００　コンピュータ，　２０１　CPU

Claims (20)

  1. 　音声入力装置に入力された第１のユーザの音声情報を取得する音声取得部と、
    　第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御部と
    　を備え、
    　前記表示制御部は、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う
    　情報処理装置。
  2. 　前記表示制御部は、前記テキスト情報の表示量が所定の量以上となった場合、前記テキスト情報の表示量を抑制する
    　請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記テキスト情報に含まれる所定の品詞の表示量を抑制することによって、前記テキスト情報の表示量を抑制する
    　請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、前記第１のユーザまたは前記第２のユーザによる所定の操作に基づいて、前記テキスト情報の表示量を抑制する
    　請求項２に記載の情報処理装置。
  5. 　前記所定の操作は、前記第１のユーザまたは前記第２のユーザによる第１の操作を含み、
    　前記表示制御部は、前記テキスト情報の表示量を抑制した後、前記第１の操作に基づいて、前記テキスト情報の表示を消去させる
    　請求項４に記載の情報処理装置。
  6. 　前記所定の操作は、前記第１のユーザまたは前記第２のユーザによる第２の操作を含み、
    　前記表示制御部は、前記テキスト情報の表示を消去させた後、前記第２の操作に基づいて、前記表示装置において消去させた前記テキスト情報を再び表示させる
    　請求項５に記載の情報処理装置。
  7. 　前記表示制御部は、前記テキスト情報の解析結果に従い、前記テキスト情報の表示の改行または改頁の少なくとも一方を制御する
    　請求項２に記載の情報処理装置。
  8. 　前記第１のユーザまたは前記第２のユーザの一方が前記テキスト情報に関する操作を行った場合、前記テキスト情報に関する操作が行われたことを示す情報を、前記第１のユーザまたは前記第２のユーザの他方に対して通知する通知部をさらに備える
    　請求項１に記載の情報処理装置。
  9. 　前記通知部は、前記第１のユーザまたは前記第２のユーザの一方が、前記テキスト情報の表示量を抑制させる操作を行った場合、前記第１のユーザまたは前記第２のユーザの他方に、前記テキスト情報の表示量が抑制されたことを通知する
    　請求項８に記載の情報処理装置。
  10. 　前記通知部は、前記第１のユーザまたは前記第２のユーザの一方が、前記テキスト情報の表示を消去する操作を行った場合、前記第１のユーザまたは前記第２のユーザの他方に、前記テキスト情報の表示が消去されたことを通知する
    　請求項８に記載の情報処理装置。
  11. 　前記通知部は、前記第２のユーザが、前記表示装置に表示された前記テキスト情報の再発話を要求する操作を行った場合、前記第１のユーザに再発話を促す通知を行う
    　請求項８に記載の情報処理装置。
  12. 　前記通知部は、前記第２のユーザが、前記表示装置に表示された前記テキスト情報に関する問い合わせを要求するための操作を行った場合、前記第１のユーザに前記テキスト情報に関する問い合わせがあったことを通知する
    　請求項８に記載の情報処理装置。
  13. 　前記表示制御部は、前記第２のユーザの発声または動作の少なくとも一方に基づく前記第２のユーザの既読検知の結果に基づいて、前記表示装置における前記テキスト情報の表示量を抑制する
    　請求項１に記載の情報処理装置。
  14. 　前記表示制御部は、前記第１のユーザの発声または動作の少なくとも一方に基づき、前記表示装置における前記テキスト情報の表示を中止する
    　請求項１に記載の情報処理装置。
  15. 　前記表示装置における前記テキスト情報の表示量または前記音声情報の入力量の少なくとも一方に基づき、前記第１のユーザまたは前記第２のユーザの少なくとも一方に対するフィードバック情報の通知を制御するフィードバック制御部をさらに備える
    　請求項１に記載の情報処理装置。
  16. 　フィードバック情報は、前記第１のユーザに対して、発話速度、または発話区切りの少なくとも一方を変更するように促す情報である
    　請求項１５に記載の情報処理装置。
  17. 　フィードバック情報は、前記第２のユーザに対して、前記表示装置に表示された前記テキスト情報の読み取りを促す情報である
    　請求項１５に記載の情報処理装置。
  18. 　前記第１のユーザの前記音声情報を前記テキスト情報に変換する音声認識部をさらに備え、
    　前記音声認識部は、前記情報処理装置の内部、または、インターネットを介して接続するサーバ上に設けられている
    　請求項１に記載の情報処理装置。
  19. 　情報処理装置の情報処理方法において、
    　前記情報処理装置による、
    　音声入力装置に入力された第１のユーザの音声情報を取得する音声取得ステップと、
    　第２のユーザのための表示装置における、取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御ステップと
    　を含み、
    　前記表示制御ステップは、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う
    　情報処理方法。
  20. 　第１のユーザの音声情報を取得する音声入力装置と、
    　取得された前記音声情報に対応するテキスト情報の表示を制御する表示制御装置と、
    　前記表示制御装置からの制御に従い、前記テキスト情報を第２のユーザのために表示する表示装置と
    　を備え、
    　前記表示制御装置は、前記表示装置における前記テキスト情報の表示量、または前記音声入力装置から入力された前記音声情報の入力量の少なくとも一方に基づいて、前記テキスト情報の表示量に関する制御を行う
    　情報処理システム。
PCT/JP2017/041758 2016-12-05 2017-11-21 情報処理装置、情報処理方法、および情報処理システム WO2018105373A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020197014972A KR20190091265A (ko) 2016-12-05 2017-11-21 정보 처리 장치, 정보 처리 방법, 및 정보 처리 시스템
JP2018554906A JP6950708B2 (ja) 2016-12-05 2017-11-21 情報処理装置、情報処理方法、および情報処理システム
DE112017006145.8T DE112017006145T5 (de) 2016-12-05 2017-11-21 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem
US16/349,731 US11189289B2 (en) 2016-12-05 2017-11-21 Information processing device, information processing method, and information processing system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662430000P 2016-12-05 2016-12-05
US62/430,000 2016-12-05
JP2017-074369 2017-04-04
JP2017074369 2017-04-04

Publications (1)

Publication Number Publication Date
WO2018105373A1 true WO2018105373A1 (ja) 2018-06-14

Family

ID=62491200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041758 WO2018105373A1 (ja) 2016-12-05 2017-11-21 情報処理装置、情報処理方法、および情報処理システム

Country Status (1)

Country Link
WO (1) WO2018105373A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020039014A (ja) * 2018-08-31 2020-03-12 株式会社コロプラ プログラム、情報処理装置、および方法
JP2020126195A (ja) * 2019-02-06 2020-08-20 トヨタ自動車株式会社 音声対話装置、音声対話装置の制御装置及び制御プログラム
JP2022056592A (ja) * 2020-09-30 2022-04-11 本田技研工業株式会社 会話支援装置、会話支援システム、会話支援方法およびプログラム
WO2022270456A1 (ja) * 2021-06-21 2022-12-29 ピクシーダストテクノロジーズ株式会社 表示制御装置、表示制御方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127459A (ja) * 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
US6172685B1 (en) * 1997-11-24 2001-01-09 Intel Corporation Method and apparatus for increasing the amount and utility of displayed information
JP2008097104A (ja) * 2006-10-06 2008-04-24 Sharp Corp メッセージ情報交換装置及びその動作方法
JP2013235556A (ja) * 2012-05-07 2013-11-21 Lg Electronics Inc 音声ファイルに関連するテキストの表示方法及びこれを実現した電子機器
JP2014164692A (ja) * 2013-02-27 2014-09-08 Yahoo Japan Corp 文書表示装置、文書表示方法及び文書表示プログラム
JP2015069600A (ja) * 2013-09-30 2015-04-13 株式会社東芝 音声翻訳システム、方法およびプログラム
WO2016103415A1 (ja) * 2014-12-25 2016-06-30 日立マクセル株式会社 ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127459A (ja) * 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
US6172685B1 (en) * 1997-11-24 2001-01-09 Intel Corporation Method and apparatus for increasing the amount and utility of displayed information
JP2008097104A (ja) * 2006-10-06 2008-04-24 Sharp Corp メッセージ情報交換装置及びその動作方法
JP2013235556A (ja) * 2012-05-07 2013-11-21 Lg Electronics Inc 音声ファイルに関連するテキストの表示方法及びこれを実現した電子機器
JP2014164692A (ja) * 2013-02-27 2014-09-08 Yahoo Japan Corp 文書表示装置、文書表示方法及び文書表示プログラム
JP2015069600A (ja) * 2013-09-30 2015-04-13 株式会社東芝 音声翻訳システム、方法およびプログラム
WO2016103415A1 (ja) * 2014-12-25 2016-06-30 日立マクセル株式会社 ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020039014A (ja) * 2018-08-31 2020-03-12 株式会社コロプラ プログラム、情報処理装置、および方法
JP2020126195A (ja) * 2019-02-06 2020-08-20 トヨタ自動車株式会社 音声対話装置、音声対話装置の制御装置及び制御プログラム
JP7120060B2 (ja) 2019-02-06 2022-08-17 トヨタ自動車株式会社 音声対話装置、音声対話装置の制御装置及び制御プログラム
JP2022056592A (ja) * 2020-09-30 2022-04-11 本田技研工業株式会社 会話支援装置、会話支援システム、会話支援方法およびプログラム
JP7369110B2 (ja) 2020-09-30 2023-10-25 本田技研工業株式会社 会話支援装置、会話支援システム、会話支援方法およびプログラム
WO2022270456A1 (ja) * 2021-06-21 2022-12-29 ピクシーダストテクノロジーズ株式会社 表示制御装置、表示制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP6710740B2 (ja) 提案される音声ベースのアクションクエリの提供
CN106463114B (zh) 信息处理设备、控制方法及程序存储单元
US10592095B2 (en) Instantaneous speaking of content on touch devices
US20210193146A1 (en) Multi-modal interaction between users, automated assistants, and other computing services
WO2016103988A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11462213B2 (en) Information processing apparatus, information processing method, and program
US20120260176A1 (en) Gesture-activated input using audio recognition
WO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2019107145A1 (ja) 情報処理装置、及び情報処理方法
WO2016152200A1 (ja) 情報処理システムおよび情報処理方法
WO2017175442A1 (ja) 情報処理装置、および情報処理方法
JP6950708B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
KR20140111574A (ko) 오디오 명령에 따른 동작을 수행하는 장치 및 방법
CN117971154A (zh) 多模态响应
WO2015156011A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11150923B2 (en) Electronic apparatus and method for providing manual thereof
US11430429B2 (en) Information processing apparatus and information processing method
JPWO2020116001A1 (ja) 情報処理装置および情報処理方法
JP2019179081A (ja) 会議支援装置、会議支援制御方法およびプログラム
US9122312B2 (en) System and method for interacting with a computing device
US20230343336A1 (en) Multi-modal interaction between users, automated assistants, and other computing services
JP5613102B2 (ja) 会議装置、会議方法および会議プログラム
WO2020158218A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879093

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018554906

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197014972

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17879093

Country of ref document: EP

Kind code of ref document: A1