CN111512281B - 无线终端、管理服务器、意图解读服务器、及其控制方法 - Google Patents

无线终端、管理服务器、意图解读服务器、及其控制方法 Download PDF

Info

Publication number
CN111512281B
CN111512281B CN201880082193.6A CN201880082193A CN111512281B CN 111512281 B CN111512281 B CN 111512281B CN 201880082193 A CN201880082193 A CN 201880082193A CN 111512281 B CN111512281 B CN 111512281B
Authority
CN
China
Prior art keywords
intention
user
user input
wireless terminal
image forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880082193.6A
Other languages
English (en)
Other versions
CN111512281A (zh
Inventor
土屋政人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111512281A publication Critical patent/CN111512281A/zh
Application granted granted Critical
Publication of CN111512281B publication Critical patent/CN111512281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1296—Printer job scheduling or printer resource handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/04—Interfaces between hierarchically different network devices
    • H04W92/08—Interfaces between hierarchically different network devices between user and terminal device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

根据实施例的无线终端接受利用语音或文本的用户输入，向服务器通知接受的用户输入，以及通过从服务器获得与用户输入相关的问题并且将获得的问题呈现给用户来允许用户和服务器彼此交互。而且，无线终端从服务器接收与基于通过交互的交互由服务器解读的用户的意图匹配的一个或多个图像形成装置的列表，并且显示接收的列表。

Description

无线终端、管理服务器、意图解读服务器、及其控制方法
技术领域
本发明涉及信息处理装置、用于控制信息处理装置的方法、以及程序。
背景技术
近年来的人工智能相关的研究和开发领域正处于其初期阶段，并且覆盖从诸如智能电话和家电的小型电子设备到诸如车辆和房屋的大型设备的设备已开始配备利用人工智能的功能。尤其是，与使用语音识别和自然语言处理的交互式用户界面相关联的技术已经被充分积累到实用水平。可以说，涉及前端开发的工程师对他们的产品配备交互式用户界面功能的平台是完整的，并且开发的难度已大大降低。
利用交互式用户界面，电子设备使用语音或文本输入以人与计算机之间的“交互”形式进行操作。在已经实际使用的声音命令功能的情况下，仅对特定关键字给出响应，而交互式用户界面使得人能够操作电子设备，同时使人感觉好像他正在与设备进行交互。使用语音识别和自然语言处理的交互式用户界面中的问题在于如何从由用户进行的语音或文本输入的内容读取此刻用户的意图。专利文献1提出了引入免提情境的概念以解读用户的意图的方法。
引文列表
专利文献
专利文献1：日本专利特开No.2017-16683
发明内容
技术问题
同时，随着提供的功能变得越来越多样化和复杂，诸如MFP(多功能***设备)的图像形成装置要求用户执行更复杂的操作。取决于期望的服务，在一些情况下，用户在浏览MFP的用户界面的同时设置条件等是非常复杂且麻烦的。此外，当从移动终端等访问MFP时，一般的用户理解如何在用户界面上进行例如无线直连的复杂设置是困难的。另外，一些用户不能充分领会MFP等具有的功能本身。因此，需要一种用户界面，该用户界面容易解读用户的意图并且向用户呈现适当的设备、功能等。
本发明鉴于前述问题中的至少一个已被做出，并且旨在提供一种机制，该机制交互地获得用户的意图并且呈现适合于用户的意图的设备、功能等，而不要求用户执行复杂的操作。
问题的解决方案
例如，本发明是一种无线终端，所述无线终端能够与图像形成装置和服务器通信，所述无线终端的特征在于包括：交互部件，所述交互部件用于接受利用语音或文本的用户输入、向所述服务器通知接受的用户输入、以及通过从所述服务器获得与所述用户输入相关的问题并且将获得的问题呈现给用户来允许所述用户和服务器彼此交互；接收部件，所述接收部件用于从所述服务器接收一个或多个图像形成装置的列表，所述一个或多个图像形成装置与基于通过所述交互部件的交互由所述服务器解读的所述用户的意图匹配；以及显示部件，所述显示部件用于显示由所述接收部件接收的所述列表。
而且，本发明是一种管理服务器，所述管理服务器能够与意图解读服务器和一个或多个图像形成装置通信，所述意图解读服务器根据由无线终端的用户进行的用户输入解读所述用户的意图，所述管理服务器的特征在于包括：打印机数据库，所述打印机数据库保持打印机信息表和打印机能力信息表，所述打印机信息表对用户和一个或多个可用的图像形成装置彼此相关联地定义，所述打印机能力信息表定义关于图像形成装置的能力信息；接收部件，所述接收部件用于接收由所述意图解读服务器解读的所述用户的意图；以及提供部件，所述提供部件用于参考所述打印机数据库生成与由所述接收部件接收的意图匹配的一个或多个图像形成装置的列表，并且提供生成的列表。
而且，本发明是一种意图解读服务器，所述意图解读服务器能够与管理服务器和无线终端通信，所述意图解读服务器的特征在于包括：接收部件，所述接收部件用于从所述无线终端接收利用语音或文本的用户输入；语音识别引擎，如果由所述接收部件接收的用户输入是语音，则所述语音识别引擎执行语音识别；语言处理引擎，所述语言处理引擎对已经受所述语音识别引擎的语音识别的用户输入或利用文本的用户输入执行语言处理；意图数据库，所述意图数据库将多个意图和每个意图的一个或多个参数彼此相关联地保持；以及意图解读部件，所述意图解读部件用于根据已经受所述语言处理引擎的语言处理的用户输入和由所述意图数据库保持的信息解读用户的意图，并且如果无法解读用户的意图，则在所述无线终端上呈现附加的问题。
发明的有益效果
根据本发明，能够交互地获得用户的意图并且呈现适合于用户的意图的设备、功能等，而不要求用户执行复杂的操作。
在以下参考附图的描述中，本发明的其它特征和优点将清楚。注意的是，在附图中，相同或类似的组成部分被分配相同的附图标记。
附图说明
附图包括在说明书中并且构成说明书的一部分，图示了本发明的实施例，并且与说明书的描述一起用于描述本发明的原理。
图1是示出根据实施例的信息处理***的配置的图。
图2是示出根据实施例的MFP的硬件配置的图。
图3是示出根据实施例的MFP的软件配置的图。
图4是示出根据实施例的无线终端的硬件配置的图。
图5是示出根据实施例的服务器的硬件配置的图。
图6是根据实施例的意图解读服务器的流程图。
图7是根据实施例的MFP管理服务器的流程图。
图8A是示出根据实施例的移动终端的用户界面的转变的图。
图8B是示出根据实施例的移动终端的用户界面的转变的图。
图9是根据实施例的应用于打印机选择的序列图。
具体实施方式
在下文中，将描述本发明的实施例。下面描述的各个实施例将帮助理解本发明的各种概念，包括上位概念、中位概念和下位概念。本发明的技术范围由权利要求确立，并且不受以下实施例限制。
第一实施例
***配置
下面将描述本发明的第一实施例。首先，将参考图1描述根据这个实施例的信息处理***100的配置。根据这个实施例的***包括MFP(图像形成装置和通信装置的示例)101、无线终端(信息处理装置)102、意图解读服务器103和MFP管理服务器104。注意的是，至少MFP101和无线终端102具有无线通信功能，并且例如MFP101和无线终端102可以直接或间接地彼此无线连接。一般地，存在无线连接的若干模式，但是无线连接的模式在本发明中不被特别地限制。例如，无线连接的模式可以是诸如Wi-Fi(登记商标)、BLE和NFC的短程通信，诸如LTE(登记商标)、3G和4G的长距离通信，以及诸如Cat-M1和nb-IoT的最近IoT通信中的任何一种。
MFP 101是提供诸如打印、复印、扫描和传真的各种服务的图像形成装置的示例，并且具有无线通信功能。无线终端102可以无线地连接到MFP 101，并且被用户用作MFP 101的控制器。意图解读服务器103从无线终端102接受用户输入并解读用户的意图。MFP管理服务器104可通信地连接到意图解读服务器103和MFP 101，接收由意图解读服务器103解读的用户的意图，并将用于实现意图的命令传送到MFP 101。注意的是，诸如MFP的多个图像形成装置可通信地连接到MFP管理服务器104，该MFP管理服务器104根据由意图解读服务器103解读的用户的意图经由意图解读服务器103将多个图像形成装置中的适当的一个呈现给用户。
MPF 101和无线终端102存在于办公楼中的同一房间中，并且用户通过操作无线终端102向MFP 101做出用于处理的请求。同时，意图解读服务器103和MFP管理服务器104可以被配置为使它们的服务在互联网上公开。注意的是，尽管这个实施例将在以用户向MFP 101传送处理请求的情况作为示例的同时进行描述，但是在权利要求的范围中要被设置的设备是一般的信息处理装置，并且MFP101也可以是个人计算机、移动终端等。
MFP 101的硬件配置
接下来，将参考图2描述根据这个实施例的MFP 101的硬件配置。MFP 101具有CPU211、ROM(只读存储器)212、RAM(随机存取存储器)213、HDD(硬盘驱动器)214、操作单元215、打印机216、扫描仪217、蓝牙(登记商标)I/F 218、Wi-Fi I/F 219和以太网(登记商标)I/F220作为其硬件配置。每块硬件211至220通过内部总线221连接并且可以彼此交换数据。
CPU 211全面地控制整个MFP 101的操作。CPU 211将存储在ROM 212、HDD 214等中的控制程序加载到RAM 213，并执行各种类型的控制，诸如读取控制和传送控制。RAM 213是易失性存储器，该易失性存储器被用作例如CPU 211利用其执行各种程序的工作区。HDD214存储图像数据和各种程序。
操作单元215包括作为能够利用用户的手指操作的触摸面板进行操作的显示器、以及硬件按钮。打印机216将经由内部总线221传输的图像数据打印在诸如纸的记录介质上。扫描仪217读取原稿上的图像并生成图像数据。蓝牙I/F 218是用于执行符合蓝牙标准的无线通信的接口，并且与具有蓝牙I/F的其它设备通信。在这个实施例中，蓝牙I/F 218依照蓝牙标准与无线终端102通信。Wi-Fi I/F 219和以太网I/F 220是用于分别以无线和有线方式连接到网络的NIC(网络接口卡)。
MFP 101的软件配置
接下来，将参考图3描述根据这个实施例的MFP 101的软件配置。MFP 101具有网络控制单元301、UI控制单元302、OS内核303、蓝牙通信控制单元304、Wi-Fi通信控制单元305和以太网通信控制单元306作为其软件配置。
Wi-Fi通信控制单元305是用于控制Wi-Fi I/F 219的模块。蓝牙通信控制单元304是用于控制蓝牙通信I/F 218的模块。类似地，以太网通信控制单元306控制以太网通信I/F220。这些模块由OS内核303控制。网络控制单元301经由OS内核303操作蓝牙和Wi-Fi控制单元。网络控制单元301管理当前的网络设置，并且管理各通信模式(即，以太网(有线LAN)、无线LAN和无线P2P连接)的可用性。网络控制单元301与UI控制单元302传递信息以改变UI上的显示，或者相反地，响应于来自UI的操作请求执行网络控制。
无线终端的硬件配置
接下来，将参考图4描述根据这个实施例的无线终端102的硬件配置的示例。如图4中所示，无线终端102具有***控制单元400、操作面板408、扬声器409和麦克风410作为其硬件配置。***控制单元400包括CPU 401、ROM 402、RAM 403、HDD 404、操作面板I/F 405、语音输入输出I/F 406和网络I/F 407。这些多块硬件401至407通过内部总线412连接，并且可以彼此交换数据。
***控制单元400是全面地控制无线终端102的控制单元。CPU401全面地控制整个无线终端102的操作。CPU 401将存储在ROM402、HDD 404等中的控制程序加载到RAM 403，并执行各种类型的控制，诸如语音输入和传送控制。RAM 403是易失性存储器，该易失性存储器用作例如CPU 401利用其执行各种程序的工作区。HDD404存储要被传送到MFP 101的打印数据、以及各种程序。
操作面板I/F 405是控制对操作面板408的用户输入并且控制对操作面板408的显示输出的接口。操作面板408是由例如触摸面板型的液晶显示器构成并且具有输入单元和显示单元的用户接口。语音输入输出I/F 406连接到扬声器409和麦克风410，并且控制语音从用户的获得以及声音向用户的输出。网络I/F 407连接到各种网络。例如，网络I/F 407经由互联网连接到意图解读服务器103，并且经由无线通信连接到MFP 101。
服务器的硬件配置
接下来，将参考图5描述根据这个实施例的意图解读服务器103和MFP管理服务器104的硬件配置。意图解读服务器103包括CPU501、RAM 502、ROM 503、HDD 504、数据库I/F505和广域网I/F506。这些多块硬件501至506通过内部总线508连接，并且可以彼此交换数据。
CPU 501全面地控制意图解读服务器103。CPU 501将存储在ROM 503、HDD 504等中的控制程序加载到RAM 502，并执行各种类型的控制，诸如意图分析和传送控制。RAM 502是易失性存储器，该易失性存储器用作例如CPU 501利用其执行各种程序的工作区。HDD 504存储稍后描述的登记的意图表以及各种程序。
数据库I/F 505连接到数据库(意图数据库)507，并且控制信息向数据库507的输入和信息从数据库507的输出。数据库507管理表1中所示的稍后描述的登记的意图表。广域网I/F 506控制经由广域网与无线终端102和MFP管理服务器104的通信。
MFP管理服务器104包括CPU 511、RAM 512、ROM 513、HDD 514、数据库I/F 515和广域网I/F 516。这些多块硬件511至516通过内部总线518连接，并且可以彼此交换数据。
CPU 511全面地控制MFP管理服务器104。CPU 511将存储在ROM 513、HDD 514等中的控制程序加载到RAM 512，并执行各种类型的控制，诸如意图分析和传送控制。RAM 512是易失性存储器，该易失性存储器用作例如CPU 511利用其执行各种程序的工作区。HDD 514存储稍后描述的打印机信息表和打印机能力信息表、以及各种程序。
数据库I/F 515连接到数据库(打印机数据库)517，并且控制信息向数据库517的输入和信息从数据库517的输出。数据库517管理稍后将描述的表2中的打印机信息表和表3中的打印机能力信息表。广域网I/F 516控制经由广域网与MFP 101和意图解读服务器103的通信。
意图解读服务器的数据库配置
接下来，将参考表1描述由意图解读服务器103保持的登记的意图表。这个表具有两种类型的参数(即，必需参数和不是必需参数的可选参数)作为每个意图的辅助参数。必需参数是必需被输入的参数，并且指示在解读每个意图时必须满足的条件。其它参数不是必需被输入，并且期望在解读每个意图时满足由这些参数指示的条件。
例如，意图的示例包括“打印机选择”。这是确定用户要使用的一个打印机的意图，并且作为指示要被使用的打印机是否支持彩色打印的参数的彩色参数被设置为必需参数。而且，作为指示是否支持自动装订功能的参数的装订参数被设置为不是必需参数的参数。
因此，如果输入到意图解读服务器103的文本句子或语音输入句子是“使用具有装订功能的能够彩色打印的打印机”，那么这个句子的意图被解读为“打印机选择”。此外，解读彩色参数为“启用”(支持彩色打印)，并且还解读装订参数也为“启用”(支持自动装订功能)。没有落入任何准备好的意图的文本句子输入被解读为“未知意图”。注意的是，尽管在表1中“打印机选择”、“打印准备”、“打印”、“未知意图”被定义为意图并且对这些意图设置了各种参数，但是这些是示例并且不意图限制本发明。也可以登记其它意图和其它参数，并且可以任意添加或删除这些意图和参数。
表1
意图 必需参数 可选参数
打印机选择 彩色 装订
打印准备
打印 尺寸、彩色
未知意图
MFP管理服务器的数据库配置
接下来，将参考表2和3对由MFP管理服务器104保持的打印机信息表和打印机能力信息表给出描述。表2中所示的打印机信息表定义了打印机信息，即，关于对用户可用的打印机的信息。这种信息是与特定用户相关联的可用打印机的列表，并且可以定义一个用户可以使用多个打印机，以及一个打印机可用于多个用户。注意的是，表2是示例并且不意图限制本发明。在这个表中还可以定义其它用户或其它打印机。
表2
用户 打印机
X 打印机A
X 打印机B
Y 打印机A
Z 打印机C
表3中所示的打印机能力信息表定义了能力信息，即，关于打印机的能力的信息。这里，尺寸、彩色和装订参数与表1中的那些相同。“尺寸”指示利用每个打印机可以打印的最大纸张尺寸。“彩色”指示彩色打印对于每个打印机是否可用。如果彩色参数为“真”，那么它指示彩色打印对于打印机可用。“装订”指示可选的自动装订功能对于每个打印机是否可用。注意的是，表3是示例并且不意图限制本发明。在这个表中还可以定义其它打印机或其它参数。
表3
打印机 尺寸 彩色 装订
打印机A A3 真 真
打印机B A3 真 假
打印机C A4 假 假
打印机D A1 真 假
由意图解读服务器103执行的处理
接下来，将参考图6对处理过程给出描述，通过该处理过程，根据这个实施例的意图解读服务器103解读用户输入的意图并将信号传送到MFP管理服务器104。下面描述的处理例如通过意图解读服务器103的CPU 501将存储在ROM 503或HDD 504中的控制程序加载到RAM 502并执行加载的程序来实现。
在S601中，意图解读服务器103的CPU 501确定是否已从无线终端102接收到文本输入或语音输入。如果已接收到文本输入或语音输入，那么处理前进到S602，并且CPU 501解读接收到的输入的意图。具体地，对于语音输入，CPU 501首先使用语音识别引擎来执行语音识别并将输入的语音转换成文本。CPU 501然后使用自然语言处理引擎来解读从文本输入或语音输入转换的文本的意图。
接下来，在S603中，CPU 501确定S602中的意图确定的结果是否未知。如果未知，那么处理前进到S607，而如果不是未知，那么处理前进到S604。在S604中，对于确定的意图，CPU 501确定是否满足表1中所示的所有的必需参数。如果不是所有的必需参数都满足，那么处理前进到S606，而如果所有的必需参数都满足，那么处理前进到S605。在S606中，CPU501经由网络向无线终端102的用户呈现关于不满足的必需参数的附加的问题，并且处理返回到S604中的确定。注意的是，当处理返回到S604中的确定时，接收新的用户输入，执行与S602对应的意图解读处理，并且提取参数。
如果所有的必需参数都满足，那么在S605中，CPU 501将确定的意图和参数组传送到MFP管理服务器104，并且处理结束。另一方面，如果在S603中意图确定的结果未知，那么在S607中，CPU501经由网络向无线终端102的用户呈现指示意图未知的消息，并且处理结束。
由MFP管理服务器104执行的处理
接下来，将参考图7给出当根据这个实施例的MFP 101从意图解读服务器103接收到在前面提到的S605中传送的意图及其参数时执行的处理过程的描述。下面描述的处理例如通过MFP管理服务器104的CPU 511将存储在ROM 513或HDD 514中的控制程序加载到RAM512并执行加载的程序来实现。
在S701中，MFP管理服务器104的CPU 511确定是否已接收到从意图解读服务器103传送的信号。如果已接收到信号，那么处理前进到S702，并且CPU 511首先获得信号中包括的意图的类型并且确定意图是否是“MFP确定(打印机选择)”。如果意图是“MFP确定”，那么处理前进到S703，而如果意图不是“MFP确定”，那么处理前进到S705。
在S703中，CPU 511通过参考打印机能力信息表(表2)来确定是否存在作为与当前用户相关联的MFP并且满足前面提到的信号中包括的所有的条件(必需条件)的任何打印机。如果存在满足条件的打印机，那么处理前进到S709，而如果不存在满足条件的打印机，那么处理前进到S704。在S704中，CPU 511经由网络通知意图解读服务器103尚未找到匹配的MFP，并且处理结束。另一方面，如果已找到满足条件的打印机，那么在S709中，CPU 511生成匹配的打印机列表并将该列表返回到意图解读服务器103，并且处理结束。
如果在S702中从接收到的信号获得的意图不是“MFP确定”，那么在S705中，CPU511确定当前用户账户要使用的MFP是否已经被确定。如果没有被确定，那么处理前进到S710，而如果已经被确定，那么处理前进到S706。在S710中，MFP管理服务器104传送使意图解读服务器103确定MFP的意图切换请求并将意图切换为表1中的“打印机选择”，并且处理结束。
另一方面，如果要使用的MFP已经被确定，那么在S706中，CPU 511确定此次的意图是否要求与确定的MFP通信。如果要求，那么处理前进到S707，而如果不要求，那么处理前进到S709。在S707中，如果要求通信，那么CPU 511将与信号的意图对应的处理请求传送到目标MFP。然后，在S708中，CPU 511确定是否已从MFP接收到对传送的处理请求的响应。如果已接收到响应并且该响应指示请求的处理已被成功执行，那么处理前进到S709，否则，处理前进到S711。在S709中，CPU 511将指示针对意图的处理完成的信号传送到意图解读服务器103。如果在S707中从MFP 101接收到指示请求的处理已失败的响应或者没有接收到响应，那么在S711中，CPU 511将指示针对意图的处理已失败的信号传送到意图解读服务器103，并且处理结束。
无线终端102的用户界面
接下来，将参考图8A和8B描述在无线终端102的操作面板408上显示的用户界面及其流程。当存储在无线终端102中的预定应用被打开时，这个用户界面在操作面板408上被显示为交互式应用画面。预定应用可以默认安装在无线终端102中，或者可以从外部设备下载并安装。图8A和8B中所示的画面801至804是这个应用的画面。下面描述的由无线终端102执行的处理通过CPU 401执行。
画面801在交互显示区814中显示过去的交互历史。交互显示区814从上方按时序示出一对一交互的流程。左侧对齐的句子指示从MFP服务侧(即，由意图解读服务器103)给出的问题等，并且右侧对齐的句子指示由用户进行的说话或文本输入。由意图解读服务器103给出的问题等是前面提到的S606和S607中呈现的那些。如果用户轻击画面801的下侧的文本域811，那么CPU 401将显示的画面切换到画面802以开始文本输入。
虚拟键盘822显示在画面802的下半部分，并且用户可以以各种语言进行输入。输入的文本内容显示在文本域823中。如果在画面802上轻击交互显示区821，那么CPU 401将显示的画面返回到画面801，同时维持文本域823的输入状态。如果在这个状态下轻击画面801上的发送按钮(图标)813，那么CPU 401将在文本域811中显示的文本作为用户的讲话传送到意图解读服务器103。此外，CPU401在交互显示区814中显示该文本。
如果在画面801上轻击语音输入按钮(图标)812，那么CPU401将显示的画面切换到画面803以开始语音输入。在画面803上显示促使用户输入语音的描述，诸如在区域832中所示的描述，并且等待由用户进行的语音输入。如果用户轻击交互显示区831、或者完成语音输入、或者轻击取消按钮833，那么CPU 401将显示画面返回到画面801。
如果在画面801上轻击文件选择器按钮(图标)815，那么CPU401将显示的画面切换到画面804以开始文件选择。在画面804中，可以在画面的下半部分中选择要被打印的文件。如果轻击区域843中显示的可打印数据(图像文件、PDF文件等)，那么CPU 401在文本域844中显示要被传送的可打印数据(例如，图标845)。在这个选择中，可以选择多条数据，并且附加选择的图像被添加到文本域844的右侧。注意的是，如果在这个状态下轻击文本域844，那么CPU 401将显示的画面切换到画面802，并且用户可以通过使用BS(退格键)消除这个图标来从要被打印的对象中删除显示的可打印数据的图标845。如果轻击发送按钮842，那么CPU401将选择的可打印数据传送到与CPU 401正在进行交互的信息设备(在这种情况下为MFP侧；直接地为意图解读服务器103)。如果在显示画面804时轻击交互显示区841、或者完成文件选择并传送可打印数据，那么CPU 401将画面返回到画面801。
交互场景
接下来，将参考图9描述用户经由无线终端102与MFP侧交互并使用预定的MFP的示例流程。由每个设备执行的处理通过设备的CPU全面地控制。
在S901中，无线终端102将指示“要打印”的用户输入传送到意图解读服务器103。意图解读服务器103执行语音识别和语言处理以解读意图，并且确定意图是“要打印”(S604)。在S902中，意图解读服务器103将意图“要打印”传送到MFP管理服务器104。这里，根据图7中的流程图，要使用的MFP尚未被确定，因此，在S903中，MFP管理服务器104将意图切换请求(S710)传送到意图解读服务器103。
作为响应，在步骤S904中，意图解读服务器103在无线终端102上呈现问题：“它是做什么用的？”。作为响应，在S905中，无线终端102接受指示“用于公司内部展示的彩色打印”的用户输入，并向意图解读服务器103通知该用户输入。在S906中，意图解读服务器103执行语音识别和语言处理以解读意图，并将解读的意图和参数传送到MFP管理服务器104(S604)。这里，其中存储有意图：“打印机选择”；彩色(必需参数)：启用；以及装订(可选参数)：启用的数据被传送到MFP管理服务器104。
接下来，在S907中，MFP管理服务器104生成其中优先列出满足所有的必需参数并且还满足更多的可选参数的打印机的列表，并将生成的列表返回到意图解读服务器103(S708)。在S908中，意图解读服务器103以诸如“可用的打印机列表[1][2][3]”的形式在无线终端102上呈现可用的MFP的列表。
此后，在S909中，无线终端102向意图解读服务器103通知指示“使用[2]”的用户输入(即，由用户选择的期望的图像形成装置)。随后，在S910中，意图解读服务器103执行语音识别和语言处理以解读意图，意图被切换，并且意图解读服务器103将意图“准备打印”传送到MFP管理服务器104(S604)。
在S911中，MFP管理服务器104根据图7中的流程图向目标MFP发出无线P2P启动指令(S706)。作为响应，目标MFP(这里为MFP 101)准备执行无线P2P连接，并且在S912中将用于无线P2P连接的连接信息(SSID/PassPhrase)返回到MFP管理服务器104。在S913中，这个连接信息经由意图解读服务器103从MFP管理服务器104递送到无线终端102。在S914中，无线终端102根据递送的连接信息无线地连接到MFP 101，并最终使用这个无线连接提交打印作业。
如上所述，根据这个实施例的无线终端接受利用语音或文本的用户输入，向服务器通知接受的用户输入，从服务器获得与用户输入相关的问题，并且将获得的问题呈现给用户。因此，无线终端允许用户和服务器彼此交互。无线终端从服务器接收与基于交互已由服务器解读的用户的意图匹配的一个或多个图像形成装置的列表，并且显示接收的列表。此外，如果用户从列表选择了期望的图像形成装置，那么无线终端从服务器获得连接信息(即，关于连接到这个图像形成装置的信息)，访问该图像形成装置，并且提交打印作业等。根据这个实施例的管理服务器具有打印机数据库，该打印机数据库保持打印机信息表和打印机能力信息表，该打印机信息表对用户和一个或多个可用的图像形成装置彼此相关联地定义，该打印机能力信息表定义关于图像形成装置的能力信息。此外，管理服务器参考打印机数据库生成与已由意图解读服务器解读的用户的意图匹配的一个或多个图像形成装置的列表，并且提供生成的列表。根据这个实施例的意图解读服务器从无线终端接收利用语音或文本的用户输入，如果接收的用户输入是语音则执行语音识别，并且对已经受语音识别引擎的语音识别的用户输入或利用文本的用户输入执行语言处理。而且，意图解读服务器具有意图数据库，该意图数据库将多个意图和每个意图的一个或多个参数彼此相关联地保持。此外，意图解读服务器根据已经受语言处理引擎的语言处理的用户输入和由意图数据库保持的信息解读用户的意图，并且如果无法解读意图，则在无线终端上呈现附加的问题。因此，根据这个实施例，交互地获得了用户的意图，而不要求用户执行复杂的操作，并且可以呈现适合于用户的意图的设备、功能等。
其它实施例
本发明还可以通过以下处理来实现：通过该处理，实现以上实施例的功能中的一个或多个的程序经由网络或存储介质被供给到***或装置，并且这个***或装置中的计算机的一个或多个处理器加载并执行程序。本发明还可以通过实现一个或多个功能的电路(例如，ASIC)来实现。
本发明不限于以上实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了使公众知道本发明的范围，提出以下权利要求。
本申请要求2017年12月19日提交的日本专利申请No.2017-242878的优先权，该日本专利申请特此通过引用并入本文。

Claims (13)

1.一种无线终端，所述无线终端能够与图像形成装置和AI助手通信，所述无线终端的特征在于包括：
交互部件，所述交互部件用于接受利用语音或文本的用户输入、向所述AI助手通知接受的用户输入、以及通过从所述AI助手获得与所述用户输入相关的问题并且将获得的问题呈现给用户来允许所述用户和AI助手彼此交互，其中，所述AI助手通过从所述用户输入解读自然语言来解读所述用户的意图；
接收部件，所述接收部件用于从所述AI助手接收一个或多个图像形成装置的列表，所述一个或多个图像形成装置与基于通过所述交互部件的交互由所述AI助手通过从所述用户输入解读自然语言而解读的所述用户的意图匹配；以及
显示部件，所述显示部件用于显示由所述接收部件接收的所述列表。
2.根据权利要求1所述的无线终端，其特征在于还包括：
获得部件，所述获得部件用于经由显示在所述显示部件上的所述列表从所述AI助手获得连接信息，所述连接信息是关于连接到由所述用户输入选择的期望的图像形成装置的信息；以及
连接部件，所述连接部件用于使用由所述获得部件获得的所述连接信息无线地连接到所述期望的图像形成装置并且提交作业。
3.根据权利要求1或2所述的无线终端，其特征在于
所述显示部件还按时序显示通过所述交互部件所述用户与AI助手之间的交互。
4.根据权利要求3所述的无线终端，其特征在于
所述显示部件还在显示所述交互的画面上显示以下中的至少一个：用于开始语音输入的图标、用于开始文本输入的域、用于开始选择要被传送到图像形成装置的图像数据的图标、以及显示用户输入用于向AI助手通知用户输入的图标。
5.根据权利要求1所述的无线终端，其特征在于
所述AI助手包括意图解读服务器和管理服务器，所述意图解读服务器根据从通知的用户输入解读的自然语言来解读用户的意图，所述管理服务器管理一个或多个图像形成装置，
所述意图解读服务器包括：
语音识别引擎，所述语音识别引擎在用户输入是语音的情况下执行语音识别；
语言处理引擎，所述语言处理引擎对已经受所述语音识别引擎的语音识别的用户输入或利用文本的用户输入执行语言处理，以从用户输入解读自然语言；
意图数据库，所述意图数据库将多个意图和每个意图的一个或多个参数彼此相关联地保持；以及
意图解读部件，所述意图解读部件用于根据由所述语言处理引擎解读的自然语言和由所述意图数据库保持的信息解读用户的意图，并且在无法解读用户的意图的情况下在所述无线终端上呈现附加的问题，并且
所述管理服务器包括：
打印机数据库，所述打印机数据库保持打印机信息表和打印机能力信息表，所述打印机信息表对用户和一个或多个可用的图像形成装置彼此相关联地定义，所述打印机能力信息表定义关于图像形成装置的能力信息；以及
提供部件，所述提供部件用于参考所述打印机数据库生成与由所述意图解读服务器解读的用户的意图匹配的一个或多个图像形成装置的列表，并且提供生成的列表。
6.根据权利要求5所述的无线终端，其特征在于
所述参数包括第一参数和第二参数，所述第一参数要求被包括在用户输入中以将用户输入解读为具有对应的意图，所述第二参数是可选的参数。
7.根据权利要求6所述的无线终端，其特征在于
所述意图解读部件在所述第一参数没有被包括在用户输入中的情况下在所述无线终端上呈现附加的问题。
8.根据权利要求5或6所述的无线终端，其特征在于
所述提供部件在由所述意图解读服务器解读的用户的意图要求与图像形成装置通信的情况下检查与用户期望的图像形成装置的通信。
9.一种管理服务器，所述管理服务器能够与意图解读服务器和一个或多个图像形成装置通信，所述意图解读服务器通过从由无线终端的用户进行的用户输入解读自然语言来解读所述用户的意图，所述管理服务器的特征在于包括：
打印机数据库，所述打印机数据库保持打印机信息表和打印机能力信息表，所述打印机信息表对用户和一个或多个可用的图像形成装置彼此相关联地定义，所述打印机能力信息表定义关于图像形成装置的能力信息；
接收部件，所述接收部件用于接收由所述意图解读服务器通过从所述用户输入解读自然语言而解读的所述用户的意图；以及
提供部件，所述提供部件用于参考所述打印机数据库生成与由所述接收部件接收的所述意图解读服务器解读的所述用户的意图匹配的一个或多个图像形成装置的列表，并且提供生成的列表，
其中，所述提供部件
检查与由用户经由所述列表选择的期望的图像形成装置的通信，并且
在通信检查成功的情况下，经由所述意图解读服务器向所述无线终端提供用于连接到所述期望的图像形成装置的连接信息。
10.一种意图解读服务器，所述意图解读服务器能够与管理服务器和无线终端通信，所述意图解读服务器的特征在于包括：
接收部件，所述接收部件用于从所述无线终端接收利用语音或文本的用户输入；
语音识别引擎，所述语音识别引擎在由所述接收部件接收的用户输入是语音的情况下执行语音识别；
语言处理引擎，所述语言处理引擎对已经受所述语音识别引擎的语音识别的用户输入或利用文本的用户输入执行语言处理，以从用户输入解读自然语言；
意图数据库，所述意图数据库将多个意图和每个意图的一个或多个参数彼此相关联地保持；以及
意图解读部件，所述意图解读部件用于根据由所述语言处理引擎解读的自然语言和由所述意图数据库保持的信息解读用户的意图，并且在无法解读用户的意图的情况下在所述无线终端上呈现附加的问题。
11.一种用于控制无线终端的方法，所述无线终端能够与图像形成装置和AI助手通信，所述方法的特征在于包括：
交互步骤，所述交互步骤接受利用语音或文本的用户输入、向所述AI助手通知接受的用户输入、以及通过从所述AI助手获得与所述用户输入相关的问题并且将获得的问题呈现给用户来允许所述用户和AI助手彼此交互，其中，所述AI助手通过从所述用户输入解读自然语言来解读所述用户的意图；
接收步骤，所述接收步骤从所述AI助手接收一个或多个图像形成装置的列表，所述一个或多个图像形成装置与基于所述交互步骤期间的交互由所述AI助手通过从所述用户输入解读自然语言而解读的所述用户的意图匹配；以及
显示步骤，所述显示步骤显示所述接收步骤期间接收的所述列表。
12.一种用于控制管理服务器的方法，所述管理服务器能够与意图解读服务器和一个或多个图像形成装置通信，所述意图解读服务器通过从由无线终端的用户进行的用户输入解读自然语言来解读所述用户的意图，所述管理服务器包括打印机数据库，所述打印机数据库保持打印机信息表和打印机能力信息表，所述打印机信息表对用户和一个或多个可用的图像形成装置彼此相关联地定义，所述打印机能力信息表定义关于图像形成装置的能力信息，所述方法的特征在于包括：
接收步骤，所述接收步骤接收由所述意图解读服务器通过从所述用户输入解读自然语言而解读的所述用户的意图；以及
提供步骤，所述提供步骤参考所述打印机数据库生成与所述接收步骤期间接收的所述意图解读服务器解读的所述用户的意图匹配的一个或多个图像形成装置的列表，并且提供生成的列表，
其中，所述提供步骤包括
检查与由用户经由所述列表选择的期望的图像形成装置的通信，并且
在通信检查成功的情况下，经由所述意图解读服务器向所述无线终端提供用于连接到所述期望的图像形成装置的连接信息。
13.一种用于控制意图解读服务器的方法，所述意图解读服务器能够与管理服务器和无线终端通信并且包括意图数据库，所述意图数据库将多个意图和每个意图的一个或多个参数彼此相关联地保持，所述方法的特征在于包括：
接收步骤，所述接收步骤从所述无线终端接收利用语音或文本的用户输入；
语音识别步骤，所述语音识别步骤在所述接收步骤期间接收的用户输入是语音的情况下执行语音识别；
语言处理步骤，所述语言处理步骤对在所述语音识别步骤期间已经受语音识别的用户输入或利用文本的用户输入执行语言处理，以从用户输入解读自然语言；以及
意图解读步骤，所述意图解读步骤根据在所述语言处理步骤期间解读的自然语言和由所述意图数据库保持的信息解读用户的意图，并且在无法解读用户的意图的情况下在所述无线终端上呈现附加的问题。
CN201880082193.6A 2017-12-19 2018-11-14 无线终端、管理服务器、意图解读服务器、及其控制方法 Active CN111512281B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017242878A JP7177591B2 (ja) 2017-12-19 2017-12-19 無線端末、サーバ、それらの制御方法、プログラム、及びシステム
JP2017-242878 2017-12-19
PCT/JP2018/042099 WO2019123899A1 (ja) 2017-12-19 2018-11-14 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN111512281A CN111512281A (zh) 2020-08-07
CN111512281B true CN111512281B (zh) 2024-05-14

Family

ID=66994061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082193.6A Active CN111512281B (zh) 2017-12-19 2018-11-14 无线终端、管理服务器、意图解读服务器、及其控制方法

Country Status (6)

Country Link
US (1) US11438469B2 (zh)
JP (1) JP7177591B2 (zh)
KR (2) KR102540222B1 (zh)
CN (1) CN111512281B (zh)
RU (1) RU2750623C1 (zh)
WO (1) WO2019123899A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361509B2 (ja) 2019-07-03 2023-10-16 キヤノン株式会社 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
JP7443844B2 (ja) * 2020-03-13 2024-03-06 株式会社リコー 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP7430126B2 (ja) * 2020-09-01 2024-02-09 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) * 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
CN1816092A (zh) * 2005-01-31 2006-08-09 兄弟工业株式会社 用于提供服务的***、装置和服务器
US8593501B1 (en) * 2012-02-16 2013-11-26 Google Inc. Voice-controlled labeling of communication session participants
JP2014203320A (ja) * 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
CN104608509A (zh) * 2013-11-04 2015-05-13 深圳光启创新技术有限公司 打印机、打印***及方法、服务器
JP2016212761A (ja) * 2015-05-13 2016-12-15 シャープ株式会社 画像形成システムおよびプログラム
KR101725314B1 (ko) * 2016-11-16 2017-04-10 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 및 프린터 시스템
JP2017107529A (ja) * 2015-12-07 2017-06-15 株式会社リコー 情報処理システム、端末装置及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4304959B2 (ja) 2002-10-31 2009-07-29 セイコーエプソン株式会社 音声対話制御方法、音声対話制御装置および音声対話制御プログラム
JP4367929B2 (ja) 2004-08-27 2009-11-18 キヤノン株式会社 携帯電話及び印刷システムとその制御方法
WO2007147015A2 (en) * 2006-06-13 2007-12-21 Microsoft Corporation Search engine dash-board
US8477350B2 (en) * 2010-03-16 2013-07-02 Google Inc. Cloud-based print service
JP2011232857A (ja) * 2010-04-26 2011-11-17 Canon Inc 印刷サービスシステム、印刷処理方法
JP2012248161A (ja) * 2011-05-31 2012-12-13 Oki Electric Ind Co Ltd 対話型検索システム及びプログラム、並びに、対話シナリオ生成システム及びプログラム
AU2012316484A1 (en) 2011-09-30 2014-04-17 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP5831251B2 (ja) * 2012-01-25 2015-12-09 コニカミノルタ株式会社 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム
US9108450B2 (en) * 2012-05-04 2015-08-18 Makerbot Industries, Llc Voice-controlled three-dimensional fabrication system
US9536049B2 (en) * 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
RU129673U1 (ru) * 2012-12-17 2013-06-27 Федеральное государственное унитарное предприятие "ЦентрИнформ" Система управления удаленными печатающими устройствами
US9171450B2 (en) * 2013-03-08 2015-10-27 Qualcomm Incorporated Emergency handling system using informative alarm sound
RU2589856C2 (ru) * 2014-09-25 2016-07-10 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки целевого сообщения, способ обработки нового целевого сообщения и сервер (варианты)
US20190251126A1 (en) * 2015-02-12 2019-08-15 CogniCor Technologies, Inc. Multi-agent based virtual assistant
KR20170016683A (ko) 2015-08-04 2017-02-14 (주)풀쟁이 종자를 함유한 한지 제조 장치 및 그 방법
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
US10515632B2 (en) * 2016-11-15 2019-12-24 At&T Intellectual Property I, L.P. Asynchronous virtual assistant
JP6636658B2 (ja) * 2016-11-16 2020-01-29 マンゴースラブ カンパニー リミテッド 再接着式メモ紙を出力するプリンタ及びプリンタシステム
JP6715355B2 (ja) * 2016-11-16 2020-07-01 マンゴースラブ カンパニー リミテッド 再接着式メモ紙を出力するプリンタシステム及び方法
JP6447689B1 (ja) 2017-09-11 2019-01-09 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6972806B2 (ja) 2017-09-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) * 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
CN1816092A (zh) * 2005-01-31 2006-08-09 兄弟工业株式会社 用于提供服务的***、装置和服务器
US8593501B1 (en) * 2012-02-16 2013-11-26 Google Inc. Voice-controlled labeling of communication session participants
JP2014203320A (ja) * 2013-04-08 2014-10-27 株式会社リコー 印刷制御プログラム
CN104608509A (zh) * 2013-11-04 2015-05-13 深圳光启创新技术有限公司 打印机、打印***及方法、服务器
JP2016212761A (ja) * 2015-05-13 2016-12-15 シャープ株式会社 画像形成システムおよびプログラム
JP2017107529A (ja) * 2015-12-07 2017-06-15 株式会社リコー 情報処理システム、端末装置及びプログラム
KR101725314B1 (ko) * 2016-11-16 2017-04-10 망고슬래브 주식회사 재접착식 메모지를 출력하는 프린터 및 프린터 시스템

Also Published As

Publication number Publication date
KR20230084324A (ko) 2023-06-12
JP7177591B2 (ja) 2022-11-24
US20200314264A1 (en) 2020-10-01
RU2750623C1 (ru) 2021-06-30
CN111512281A (zh) 2020-08-07
WO2019123899A1 (ja) 2019-06-27
JP2019109752A (ja) 2019-07-04
KR102540222B1 (ko) 2023-06-07
KR20200096620A (ko) 2020-08-12
US11438469B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
US10652178B2 (en) Information processing apparatus, information processing system, and information processing method
US11488588B2 (en) Voice control system and control method for controlling printing apparatus
CN101894003B (zh) 信息处理设备和控制方法
CN111512281B (zh) 无线终端、管理服务器、意图解读服务器、及其控制方法
US9648180B2 (en) Information processing system performing operation based on tag information, information processing device, portable terminal and non-transitory computer readable recording medium
CN103973935A (zh) 图像处理装置以及方法、信息处理终端以及方法
CN107241524A (zh) 图像形成装置及其控制方法
JP5995461B2 (ja) 情報処理装置、制御方法、プログラム
CN109254738A (zh) 打印***、打印设备和控制方法
KR20150138797A (ko) 화상형성장치 및 화상 형성 방법
JP2019096295A (ja) 音声制御システム、制御方法及びプログラム
US11626111B2 (en) Information processing system, information processing method, and information processing apparatus
JP2023115336A (ja) プログラム及び制御方法
WO2005111774A1 (ja) 印刷処理制御方法および近距離無線通信端末装置
KR20110068550A (ko) 화상형성장치 및 그 로컬 유저 인터페이스 제공방법
JP2024025809A (ja) 画像形成装置と画像形成装置の制御方法、及びプログラム
US20130335775A1 (en) Information processing apparatus and method for setting printing information
JP2015204526A (ja) 携帯端末、画像通信システム、ファクス装置、およびこれらの制御方法、並びにプログラム
JP2014213459A (ja) 画像処理装置、情報処理装置、情報処理方法及びプログラム
US10015351B2 (en) Instruction apparatus, processing apparatus, and processing system
JP7443844B2 (ja) 命令送信装置、命令転送システム、命令送信方法及びプログラム
US10187535B2 (en) Instruction apparatus, processing apparatus, and processing system
JP2014233874A (ja) 画像形成装置、画像形成装置の制御プログラム及び画像形成装置の制御方法
JP2017078992A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
KR20150001532A (ko) 사용자 양식 문서를 인쇄하는 방법 및 이를 이용한 화상 형성 장치, 그리고 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant