KR102537797B1 - 대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체 - Google Patents

대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체 Download PDF

Info

Publication number
KR102537797B1
KR102537797B1 KR1020190104951A KR20190104951A KR102537797B1 KR 102537797 B1 KR102537797 B1 KR 102537797B1 KR 1020190104951 A KR1020190104951 A KR 1020190104951A KR 20190104951 A KR20190104951 A KR 20190104951A KR 102537797 B1 KR102537797 B1 KR 102537797B1
Authority
KR
South Korea
Prior art keywords
image forming
microphone
voice
identification information
setting
Prior art date
Application number
KR1020190104951A
Other languages
English (en)
Other versions
KR20200027423A (ko
Inventor
사토루 이케다
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20200027423A publication Critical patent/KR20200027423A/ko
Application granted granted Critical
Publication of KR102537797B1 publication Critical patent/KR102537797B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00482—Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1254—Automatic configuration, e.g. by driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1257—Configuration of print job parameters, e.g. using UI at the client by using pre-stored settings, e.g. job templates, presets, print styles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G06F3/1287—Remote printer device, e.g. being remote from client or server via internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00395—Arrangements for reducing operator input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G06F3/1288—Remote printer device, e.g. being remote from client or server in client-server-printer device configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

대화형 에이전트 기능의 유용성을 향상시킬 수 있는 화상 형성 시스템. 화상 형성 시스템은 작업의 실행에 관련된 지시로서 입력되는 음성을 수신한다. 화상 형성 시스템은 입력된 음성이 나타내는 설정에 기초하여 작업을 실행하고, 입력된 음성에 특정한 단어가 입력되는 경우 화상 형성 시스템은 특정한 단어와 연관지어져 미리 등록된 복수의 종류의 설정에 기초하여 작업을 실행한다.

Description

대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체{IMAGE FORMING SYSTEM EQUIPPED WITH INTERACTIVE AGENT FUNCTION, METHOD OF CONTROLLING SAME, AND STORAGE MEDIUM}
본 발명은 대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체에 관한 것이다.
대화형 에이전트 기능이 설치된 음성 상호작용 장치로서의 MFP가 알려져 있다. 이 MFP는, 대화형 에이전트 기능을 사용하여, 유저가 발화한 음성을 작업 설정 지시, 작업 실행 지시 등으로서 접수한다(예를 들어, 일본 공개 특허 공보 (Kokai) 제2014-222513호 참조). 이에 의해, 유저는, MFP의 콘솔부를 조작하지 않고, 지시의 내용을 발화하는 것만으로, 작업 설정 지시, 작업 실행 지시 등을 용이하게 제공할 수 있다.
그러나, 종래의 기술에서는, 유저가 복수의 종류의 설정을 설정할 필요가 있는 작업의 실행 지시를 대화형 에이전트 기능을 사용하여 제공하는 경우, 유저는 복수의 종류의 설정을 발화할 필요가 있어, 기능의 유용성을 저하시킨다.
본 발명은 대화형 에이전트 기능의 유용성을 향상시킬 수 있는 화상 형성 시스템, 그 제어 방법 및 저장 매체를 제공한다.
본 발명의 제1 양태에서는, 화상 형성 시스템으로서, 시트에 화상을 형성하도록 구성되는 화상 형성 장치, 음성을 수신할 수 있는 마이크로폰, 및 적어도 하나의 컨트롤러로서, 상기 마이크로폰을 통해서 입력된 제1 음성에 기초하여 취득되는 적어도 하나의 화상 형성 설정을 상기 마이크로폰을 통해서 입력된 제2 음성에 기초하여 취득되는 식별 정보와 연관시키도록 구성되는 제1 유닛, 및 상기 마이크로폰을 통해서 입력된 제3 음성에 기초하여 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 취득하고, 적어도 취득된 상기 적어도 하나의 화상 형성 설정에 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하도록 구성되는 제2 유닛으로서 기능하도록 구성되는, 적어도 하나의 컨트롤러를 포함하는 화상 형성 시스템이 제공된다.
본 발명의 제2 양태에서는, 시트에 화상을 형성하도록 구성되는 화상 형성 장치와 음성을 취득할 수 있는 마이크로폰을 포함하는 화상 형성 시스템을 제어하는 방법으로서, 상기 마이크로폰을 통해서 입력된 제1 음성에 기초하여 취득되는 적어도 하나의 화상 형성 설정을 상기 마이크로폰을 통해서 입력된 제2 음성에 기초하여 취득되는 식별 정보와 연관시키는 단계, 및 상기 마이크로폰을 통해서 입력된 제3 음성에 기초하여 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 취득하고, 적어도 취득된 상기 적어도 하나의 화상 형성 설정에 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하는 단계를 포함하는 화상 형성 시스템을 제어하는 방법이 제공된다.
본 발명의 제3 양태에서는, 시트에 화상을 형성하도록 구성되는 화상 형성 장치 및 음성을 취득할 수 있는 마이크로폰을 포함하는 화상 형성 시스템을 제어하는 방법을 실행하기 위한 컴퓨터 판독가능 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은, 상기 마이크로폰을 통해서 입력된 제1 음성에 기초하여 취득되는 적어도 하나의 화상 형성 설정을 상기 마이크로폰을 통해서 입력된 제2 음성에 기초하여 취득되는 식별 정보와 연관시키는 단계; 및 상기 마이크로폰을 통해서 입력된 제3 음성에 기초하여 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 취득하고, 적어도 취득된 상기 적어도 하나의 화상 형성 설정에 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하는 단계를 포함하는 비일시적 컴퓨터 판독가능 저장 매체가 제공된다.
본 발명에 따르면, 대화형 에이전트 기능의 유용성을 향상시킬 수 있다.
본 발명의 추가적인 특징은 (첨부된 도면을 참고한) 예시적인 실시형태에 대한 이하의 설명으로부터 명확해질 것이다.
도 1은 본 발명의 실시형태에 따른 화상 형성 시스템으로서의 MFP에 설치된 대화형 에이전트 기능을 설명하는데 유용한 도면이다.
도 2는 도 1에 나타나는 MFP의 하드웨어 구성을 도시하는 개략 블록도이다.
도 3은 도 1에 나타나는 MFP, 자연어 처리 서비스 및 복합기 관리 서비스에 의해 실행되는 음성 식별 정보 생성 처리의 순서도이다.
도 4는 도 1에 나타나는 MFP와 유저 사이의 상호작용을 도시하는 도면이다.
도 5는 도 1에 나타나는 MFP에 의해 실행되는 작업 실행 처리의 흐름도이다.
도 6은 도 1에 나타나는 MFP와 유저 사이의 상호작용을 도시하는 도면이다.
도 7은 도 1에 나타나는 MFP와 유저 사이의 상호작용을 도시하는 도면이다.
도 8은 도 1에 나타나는 MFP에 의해 설정될 수 있는 기능 설정 정보의 일례를 도시하는 도면이다.
도 9는 팩스 작업의 실행에 관한 MFP와 유저 사이의 상호작용의 모습을 도시하는 도면이다.
도 10은 도 1에 나타나는 MFP로부터의 통지의 일례를 도시하는 도면이다.
도 11은 도 1에 나타나는 MFP에 의해 관리되는 관리 테이블의 일례를 도시하는 도면이다.
도 12는 작업의 실행에 사용된 기능 설정 정보가 이미 등록되어 있는 경우의 MFP와 유저 사이의 상호작용을 도시하는 도면이다.
도 13a 및 도 13b는 도 1에 나타나는 MFP에 설치된 사전 통지 기능을 설명하기 위한 도면이다.
도 14는 도 5의 작업 실행 처리의 변형의 흐름도이다.
도 15는 도 1에 나타나는 MFP와 유저 사이의 상호작용을 도시하는 도면이다.
도 16은 자연어 처리 서비스 및 복합기 관리 서비스가 설치된 MFP의 기능 블록도이다.
이제 실시형태를 도시하는 첨부 도면을 참고하여 본 발명을 이하에서 상세하게 설명한다. 후술하는 실시형태에서는, 본 발명은 화상 형성 시스템으로서의 MFP에 적용되지만, 본 발명은 MFP에 한정적으로 적용되지 않는다. 예를 들어, 본 발명은 스마트 스피커, 스마트폰, 태블릿 단말기 및 PC와 같은 대화형 에이전트 기능이 설치된 장치에 적용될 수 있다.
도 1은 본 발명의 실시형태에 따른 화상 형성 시스템인 참조 번호 101로 나타낸 MFP에 설치된 대화형 에이전트 기능을 설명하는데 유용한 도면이다. 화상 형성 장치로서의 MFP(101)는 화상 형성 처리를 행한다. MFP(101)에는, 카피 기능, 스캔 기능 및 FAX 기능 등의 화상 형성 처리의 실행을 수반하는 작업을 실행하기 위한 복수의 기능이 설치된다. 또한, MFP(101)에는 대화형 에이전트 기능이 설치된다. 대화형 에이전트 기능을 이용함으로써, 유저는 지시의 내용을 발화하는 것만으로 작업 실행 지시 및 작업 설정 지시를 제공할 수 있다. MFP(101)는, 유저가 발화한 음성을 수신하면, 수신된 음성에 의해서 자연어로 표현되는 유저 조작 요구를 자연어 처리 서비스(102)에 전송한다. 자연어 처리 서비스(102)는 클라우드(103)의 구성요소로서의 모듈이다. 자연어 처리 서비스(102)는, MFP(101)로부터 유저 조작 요구를 수신하면, 수신된 유저 조작 요구에 기초하여 자연어 처리를 행하고, 유저가 발화한 음성에 포함되는 자구를 분석한다. 또한, 자연어 처리 서비스(102)는, 분석 결과를 복합기 관리 서비스(104)에 전송한다. 복합기 관리 서비스(104)도, 자연어 처리 서비스(102)와 마찬가지로, 클라우드(103)의 구성요소로서의 모듈이다. 복합기 관리 서비스(104)는, 자연어 처리 서비스(102)로부터 수신된 분석 결과에 기초하여, MFP(101)가 음성을 식별할 수 있는 음성 식별 정보를 생성하고, 생성된 음성 식별 정보를 MFP(101)에 전송한다. MFP(101)는, 수신된 음성 식별 정보에 기초하여, 예를 들어 MFP(101)가 수신한 음성이 나타내는 설정을 작업의 실행에 필요한 기능 설정 정보로서 설정한다.
도 2는, 도 1에 나타나는 MFP(101)의 하드웨어 구성을 도시하는 개략 블록도이다. 도 2를 참고하면, MFP(101)는, CPU(201), ROM(202), RAM(203), eMMC(204), 마이크로폰 및 스피커(205), 프린터(206), 스캐너(207), 콘솔부(208) 및 네트워크 컨트롤러(209)를 포함한다. CPU(201), ROM(202), RAM(203), eMMC(204), 마이크로폰 및 스피커(205), 프린터(206), 스캐너(207), 콘솔부(208) 및 네트워크 컨트롤러(209)는 버스(210)를 통해서 상호연결된다.
CPU(201)는 MFP(101)의 전체 동작을 제어한다. CPU(201)는, ROM(202) 또는 eMMC(204)에 저장된 프로그램을 RAM(203)에 로딩함으로써 판독 제어, 인쇄 제어 및 전송 제어 등의 각종 제어를 행한다. RAM(203)은, CPU(201)가 프로그램을 실행할 때에 워크 에어리어 등으로서 사용되는 메모리이다. eMMC(204)는 화상 데이터 및 각종 프로그램을 저장한다. 마이크로폰 및 스피커(205)는 유저가 발화한 음성을 수신한다. 또한, 마이크로폰 및 스피커(205)는, 유저로부터 수신한 음성에 대한 응답 메시지를 음성으로서 출력한다.
프린터(206)는, 버스(210)를 통해서 전송된 화상 데이터에 기초하여 인쇄 처리를 행한다. 스캐너(207)는, 그 위에 배치된 원고를 판독해서 화상 데이터를 생성한다. 콘솔부(208)는, 표시부(도시되지 않음), 하드 키(도시되지 않음) 등을 포함한다. 표시부는 또한 유저가 손가락으로 조작할 수 있는 터치 패널로서 동작한다. 네트워크 컨트롤러(209)는, LAN(211)에 접속하기 위한 도시되지 않은 NIC(Network Interface Card)를 포함한다.
도 3은, 도 1에 나타나는 MFP(101), 자연어 처리 서비스(102) 및 복합기 관리 서비스(104)에 의해 실행되는 음성 식별 정보 생성 처리의 순서도이다. 도 3의 처리는 마이크로폰 및 스피커(205)에 의해 음성을 수신할 때에 실행된다.
도 3을 참조하면, MFP(101)가 마이크로폰 및 스피커(205)를 통해 음성을 수신하면(단계 S301), MFP(101)는 수신된 음성에 의해서 자연어로 표현되는 유저 조작 요구를 자연어 처리 서비스(102)에 전송한다(단계 S302). 자연어 처리 서비스(102)는, 수신된 유저 조작 요구에 기초하여 자연어 처리를 실행하고, 마이크로폰 및 스피커(205)를 통해 수신된 음성에 포함되는 자구를 분석한다(단계 S303). 이어서, 자연어 처리 서비스(102)는, 분석 결과를 복합기 관리 서비스(104)에 전송한다(단계 S304). 복합기 관리 서비스(104)는, 수신된 분석 결과에 기초하여 음성 식별 정보를 생성하고(단계 S305), 생성된 음성 식별 정보를 MFP(101)에 전송한다(단계 S306). MFP(101)는, 수신된 음성 식별 정보에 기초하여 유저의 지시를 식별하고, 식별된 지시에 대한 응답 메시지를 마이크로폰 및 스피커(205)로부터 음성 메시지로서 출력한다. 이와 같이, 본 실시형태에서는, 도 3의 처리를 행함으로써, MFP(101)는, 마이크로폰 및 스피커(205)를 통해 음성을 수신할 때마다, 수신된 음성의 음성 식별 정보를 복합기 관리 서비스(104)로부터 취득하고, 취득된 음성 식별 정보에 기초하여 마이크로폰 및 스피커(205)를 통해 받은 각각의 음성의 내용을 파악할 수 있다. 이하의 설명에서는, 도 3을 참조하여 설명한 처리의 동작에 대한 설명을 생략하고, MFP(101)가 마이크로폰 및 스피커(205)를 통해 음성을 수신할 때에, MFP(101)는 수신된 음성의 음성 식별 정보를 복합기 관리 서비스(104)로부터 취득하는 것으로 하여 설명을 행한다.
이어서, 대화형 에이전트 기능을 이용해서 유저가 작업의 실행 지시를 지시할 때에 행해지는 유저와 MFP(101) 사이의 상호작용에 대해서 설명한다.
도 4를 참조하면, MFP(101)가 음성 입력 동작을 개시하기 위한 미리결정된 음성 입력 키워드를 포함하는 음성 메시지(401) 및 카피 기능의 이용을 나타내는 음성 메시지(402)를 마이크로폰 및 스피커(205)를 통해 수신하면, MFP(101)는 카피 작업의 기능 설정 정보를 설정하도록 유저에게 촉구하는 음성 메시지(403)를 마이크로폰 및 스피커(205)로부터 출력한다. 이하에서는, 카피 작업의 기능 설정 정보를 카피 설정 정보라 칭한다. 그 후, 카피 설정 정보에 관한 음성 메시지(404 내지 406)를 마이크로폰 및 스피커(205)를 통해 수신하면, MFP(101)는 음성 메시지(404 내지 406)에 기초하여 카피 설정 정보로서 "4in1", "컬러", "양면", 및 "스테이플링"을 설정한다. MFP(101)는, 설정된 설정을 나타내는 음성 메시지(407)를 마이크로폰 및 스피커(205)로부터 출력한다. 또한, MFP(101)는, 설정된 카피 설정 정보에 기초하여 카피 작업을 실행한다. 카피 작업의 실행을 완료하면, MFP(101)는, 음성 메시지(408)를 출력하여, 실행된 카피 작업에서 사용된 기능 설정 정보를 프리셋으로서 보존할 것인지의 여부를 선택하도록 유저에게 촉구한다. 유저로부터 사용된 기능 설정 정보를 보존한다는 취지의 음성 메시지(409)를 마이크로폰 및 스피커(205)를 통해 수신하면, MFP(101)는 프리셋을 위한 프리셋명을 설정하도록 유저에게 촉구하는 메시지(410)를 마이크로폰 및 스피커(205)로부터 출력한다. 그 후, 유저로부터 프리셋명을 나타내는 음성 메시지(411)를 마이크로폰 및 스피커(205)로 수신하면, MFP(101)는 수신된 프리셋명을 상술한 기능 설정 정보와 연관지어 등록한다. 이에 의해, 유저는, 다음번으로부터, 상기 프리셋명을 발화하는 것만으로, 프리셋명과 연관지어진 기능 설정 정보를 MFP(101)에 대해 설정하는 것이 가능해진다. 등록된 정보는 ROM(202) 등에 저장된다는 것에 유의해야 한다. 또한, MFP(101)는, 유저가 다음번으로부터는 프리셋명을 발화함으로써 기능 설정 정보를 호출할 수 있다는 취지의 음성 메시지(412)를 마이크로폰 및 스피커(205)로부터 출력한다. 이때, MFP(101)는, 기능 설정 정보의 구체값으로서의 "4in1", "컬러", "양면", 및 "스테이플링"과 프리셋명으로서의 "팀내 미팅"을 마이크로폰 및 스피커(205)로부터 출력한다.
도 5는 도 1에 나타나는 MFP(101)에 의해 실행되는 작업 실행 처리의 흐름도이다. 도 5의 처리는 CPU(201)가 ROM(202) 또는 eMMC(204)에 저장된 프로그램을 실행함으로써 행해진다. 도 5의 처리는, 예를 들어 MFP(101)가 기동될 때에 실행된다.
도 5를 참조하면, 먼저, CPU(201)는, 마이크로폰 및 스피커(205)를 통해 음성을 수신하면, 복합기 관리 서비스(104)로부터 수신된 상기 수신된 음성의 음성 식별 정보에 기초하여 수신된 음성에 미리결정된 음성 입력 키워드가 포함되어 있는지의 여부를 판정한다(단계 S501). 수신된 음성에 미리결정된 음성 입력 키워드가 포함되어 있으면(단계 S501에서 예), CPU(201)는 음성 입력 동작을 개시한다(단계 S502). 그 후, CPU(201)는, 마이크로폰 및 스피커(205)를 통해 다른 음성을 수신하면, 수신된 음성의 음성 식별 정보에 기초하여 유저가 지정한 기능을 식별한다(단계 S503). 예를 들어, 도 6의 음성 메시지(601)를 받은 경우, CPU(201)는, 음성 메시지(601)의 음성 식별 정보에 기초하여 유저가 지정한 기능을 카피 기능으로서 식별한다. 이어서, CPU(201)는, 식별된 기능을 이용하는 작업의 기능 설정 정보를 설정하도록 유저에게 촉구하는 도 6의 음성 메시지(602)를 마이크로폰 및 스피커(205)로부터 출력한다. 그 후, CPU(201)는, 마이크로폰 및 스피커(205)를 통해 다른 음성을 수신하면, 수신된 음성에 미리 등록된 프리셋명이 포함되어 있는지의 여부를 판정한다(단계 S504).
단계 S504에서, 수신된 음성에 미리 등록된 프리셋명이 포함되어 있다고 판정되는 경우(예를 들어, 도 6의 음성 메시지(603)를 참조), CPU(201)는 상기 프리셋명에 연관지어진 기능 설정 정보를 설정한다. 기능 설정 정보는, 도 4에 나타나는 음성 메시지(412)에 포함되는 카피 설정 정보와 같이, 작업의 실행에 필요한 복수의 종류의 설정을 포함한다. 이어서, CPU(201)는, 설정된 기능 설정 정보에 기초하여 작업을 실행한다(단계 S505). 또한, CPU(201)는, 프리셋명에 연관지어진 기능 설정 정보에 기초하여 작업이 실행되고 있다는 취지의 음성 메시지(604)를 출력하고, 이후 본 처리를 종료한다.
단계 S504에서 수신된 음성에 미리 등록된 프리셋명이 포함되어 있지 않다고 판정되는 경우(예를 들어, 도 7의 음성 메시지(701)를 참조), CPU(201)는 수신된 음성에 포함되는 단어와 유사한 프리셋명의 후보 리스트를 출력한다(단계 S506). 예를 들어, "미팅용 4in1" 및 "미팅용 2in1"가 프리셋명으로서 미리 등록된 상태에서 마이크로폰 및 스피커(205)를 통해 "미팅용"의 단어를 포함하는 음성 메시지(701)를 수신한 경우, CPU(201)는, 프리셋명의 후보 리스트로서 "미팅용 4in1" 및 "미팅용 2in1"을 포함하는 도 7의 음성 메시지(702)를 마이크로폰 및 스피커(205)로부터 출력한다. 그 후, CPU(201)는, 마이크로폰 및 스피커(205)를 통해 다른 음성을 수신하면, 수신된 음성의 음성 식별 정보에 기초하여 후보 리스트로부터 프리셋명 중 하나가 선택되었는지의 여부를 판정한다(단계 S507).
단계 S507에서 후보 리스트로부터 프리셋명 중 하나가 선택되었다고 판정되는 경우, CPU(201)는 선택된 프리셋명에 연관지어진 기능 설정 정보를 설정하고 단계 S505를 실행한다.
단계 S507에서 후보 리스트 중에서 어떠한 프리셋명도 선택되지 않았다고 판정되는 경우, CPU(201)는 프리셋명을 사용하지 않고 기능 설정 정보를 설정한다. 더 구체적으로, CPU(201)는, 도 4에 도시한 바와 같이, 작업의 실행에 필요한 설정을 대화식으로 확인하고, 마이크로폰 및 스피커(205)를 통해 수신된 음성이 나타내는 복수의 종류의 설정을 기능 설정 정보로서 설정한다. CPU(201)는, 설정된 기능 설정 정보에 기초하여 작업을 실행한다(단계 S508). 이어서, CPU(201)는, 음성 메시지(408)를 마이크로폰 및 스피커(205)로부터 출력하여, 상기 작업에서 사용된 기능 설정 정보를 프리셋으로서 보존할 것인지의 여부를 선택하도록 유저에게 촉구한다. 그 후, CPU(201)은, 마이크로폰 및 스피커(205)를 통해 다른 음성을 수신하면, 수신된 음성의 음성 식별 정보에 기초하여 작업에서 사용된 기능 설정 정보를 프리셋으로서 보존할 것인지의 여부를 판정한다(단계 S509).
단계 S509에서 상기 작업에서 사용된 기능 설정 정보가 프리셋으로서 보존되지 않는다고 판정되는 경우, CPU(201)는 본 처리를 종료한다. 단계 S509에서 상기 작업에서 사용된 기능 설정 정보를 프리셋으로서 보존한다고 판정되는 경우, CPU(201)는, 상기 기능 설정 정보에 연관지어지는 프리셋명을 나타내는 음성이 마이크로폰 및 스피커(205)를 통해 수신되었는지의 여부를 판정한다(단계 S510).
단계 S510에서 상기 기능 설정 정보에 연관지어지는 프리셋명을 나타내는 음성이 마이크로폰 및 스피커(205)를 통해 수신되었다고 판정되는 경우, CPU(201)는 수신된 음성이 나타내는 프리셋명을 기능 설정 정보에 연관지어 등록한다(단계 S511). 그 후, CPU(201)는 본 처리를 종료한다.
단계 S510에서 기능 설정 정보에 연관지어지는 프리셋명을 나타내는 음성이 마이크로폰 및 스피커(205)를 통해 수신되지 않았다고 판정되는 경우, CPU(201)는 마이크로폰 및 스피커(205)를 통해 마지막 음성이 수신된 후에 미리 설정된 미리결정된 시간이 경과했는지의 여부를 판정한다(단계 S512).
단계 S512에서 마이크로폰 및 스피커(205)를 통해 마지막 음성이 수신된 후 미리결정된 시간이 경과되지 않았다고 판정되는 경우, CPU(201)는 단계 S510로 복귀한다. 단계 S512에서 마이크로폰 및 스피커(205)를 통해 마지막 음성이 수신된 후 미리결정된 시간이 경과했다고 판정되는 경우, CPU(201)는 본 처리를 종료한다.
상술한 실시형태에 따르면, 수신된 음성에 프리셋명이 포함되어 있는 경우, 프리셋명에 연관지어져 미리 등록된 복수의 종류의 설정에 기초하여 작업이 실행된다. 즉, 유저가 대화형 에이전트 기능을 이용하여 복수의 종류의 설정의 설정을 필요로 하는 작업의 실행을 지시하는 경우, 유저는 작업마다 복수의 종류의 설정을 발화할 필요가 없다. 이에 의해, 대화형 에이전트 기능을 이용하여 유저가 작업의 실행을 지시할 때 필요한 시간 및 노력을 감소시킬 수 있어, 대화형 에이전트 기능의 유용성을 향상시킬 수 있다.
또한, 상술한 실시형태에서는, 작업의 실행을 완료한 후, 당해 작업의 실행에 사용한 복수의 종류의 설정에 연관지어지는 프리셋명을 등록할 것인지의 여부가 유저에 의해 선택된다. 이에 의해, 프리셋명의 등록에 관하여 유저의 의도를 반영시킬 수 있다.
또한, 상술한 실시형태에서는, 프리셋명을 등록할 때에, 등록될 프리셋명에 연관지어지는 모든 설정을 포함하는 음성 메시지(412)가 마이크로폰 및 스피커(205)로부터 출력된다. 이에 의해, 프리셋명을 등록할 때에 유저는 등록되는 프리셋명에 연관지어지는 설정을 파악할 수 있게 된다.
상술한 실시형태에서는, 복수의 설정은 화상 형성 처리의 실행에 필요한 설정이다. 그러므로, 유저가 대화형 에이전트 기능을 사용하여 화상 형성 처리의 실행을 수반하는 작업의 실행을 지시할 때 필요한 시간 및 노력을 경감할 수 있다.
본 발명은 상술한 실시형태를 사용하여 설명되었지만 상술한 실시형태로 한정되지 않는다. 예를 들어, 프리셋명에 연관지어지는 기능 설정 정보는, 카피 설정 정보 이외의 기능 설정 정보, 즉 카피 기능, 팩스 기능, 스캔 및 전송 기능, 스캔 및 저장 기능, 저장된 파일을 이용하는 기능, 수신 트레이 기능, 보안 프린트 기능 및 프린트 기능과 같은 도 8에 나타내는 MFP(101)에 설치되는 기능 중 임의의 것을 이용하는 작업의 기능 설정 정보일 수 있다. 예를 들어, 유저로부터 팩스 작업에서 사용된 기능 설정 정보를 프리셋으로서 보존한다는 취지의 도 9의 음성 메시지(901)를 마이크로폰 및 스피커(205)를 통해 수신하고, 그 후 유저로부터 프리셋명을 나타내는 음성 메시지(902)를 마이크로폰 및 스피커(205)를 통해 수신하면, MFP(101)는 음성 메시지(902)가 나타내는 프리셋명을 상기 팩스 작업에서 사용된 기능 설정 정보에 연관지어서 등록한다.
또한, 상술한 실시형태에서는, MFP(101)에는 사전 통지 기능이 설치될 수 있다. 사전 통지 기능은, 작업의 기능 설정 정보를 설정하도록 유저에게 촉구하는 메시지에 대한 응답으로서 유저로부터 받은 음성에 프리셋명이 포함되어 있는 경우, 작업을 실행하기 전에 상기 프리셋명에 연관지어져 미리 등록된 복수의 종류의 설정을 마이크로폰 및 스피커(205)로부터 출력하는 기능이다. 이 기능에 의해, 유저는 MFP(101)에서 작업에 대해 설정된 기능 설정 정보를 작업의 실행 전에 확인할 수 있다.
또한, 상술한 실시형태에서는, 사전 통지 기능에 의해 마이크로폰 및 스피커(205)로부터 출력되는 설정의 종류의 수가 미리결정된 수보다 많은 경우, MFP(101)는 상기 설정을 음성으로 출력하지 않고 도 10에 도시된 바와 같이 상기 설정을 콘솔부(208)에 표시할 수 있다. 또한, 이 경우, 마이크로폰 및 스피커(205)로부터 상기 설정을 음성으로 출력하면서 상기 설정을 콘솔부(208)에 표시할 수 있다. 상술한 바와 같이 설정을 콘솔부(208)에 표시함으로써, 프리셋명에 기능 설정 정보로서 복수의 종류의 설정이 연관지어져도, 유저는 기능 설정 정보의 상세내용을 용이하게 파악할 수 있다.
상술한 실시형태에서는, 도 11에 도시된 관리 테이블(1100)에 의해 프리셋명 및 기능 설정 정보가 유저마다 관리될 수 있다. 관리 테이블(1100)은 MFP(101) 및 클라우드(103) 중 적어도 하나에 저장된다. 관리 테이블(1100)에서는, 프리셋명 및 기능 설정 정보가 각 유저에 연관지어져 등록되어 있다. 예를 들어, 도 11의 "팀내 미팅" 등의 동일한 프리셋명이 상이한 유저 a 및 c에 대해 등록되어도, 상이한 내용을 갖는 기능 설정 정보의 항목이 각각 유저 a 및 c와 연관지어져 등록된다. MFP(101)는, 프리셋명을 나타내는 메시지를 마이크로폰 및 스피커(205)를 통해 받는 경우, 유저가 MFP(101)에 로그인 했을 때에 사용한 로그인 정보 또는 유저의 성문 인증의 인증 결과에 기초하여 유저를 식별한다. MFP(101)는, 관리 테이블(1100) 중에서 마이크로폰 및 스피커(205)를 통해 수신한 메시지가 나타내는 프리셋명과 연관지어지며 식별된 유저에 관련되는 기능 설정 정보를 식별하고, 식별된 기능 설정 정보를 사용하여 작업을 실행한다. 기능 설정 정보를 유저마다 관리함으로써, 대화형 에이전트 기능의 유용성을 향상시킬 수 있다.
상술한 실시형태에서는, 작업의 실행에 사용된 기능 설정 정보가 프리셋으로서 이미 저장되어 있는 경우, MFP(101)는, 도 12의 메시지(1201)를 마이크로폰 및 스피커(205)로부터 출력하여, 기능 설정 정보에 연관지어진 프리셋명을 변경할 것인지의 여부를 선택하도록 유저에게 촉구할 수 있다.
또한, 상술한 실시형태에서는, 사전 통지 기능의 ON/OFF를 유저가 설정하게 할 수 있다. 유저가 설정한 사전 통지 기능의 ON 또는 OFF를 나타내는 설정은 ROM(202) 등에 저장된다. MFP(101)가 ON으로 설정된 사전 통지 기능을 갖는 경우에, 작업의 기능 설정 정보를 설정하도록 유저에게 촉구하는 메시지에 대한 응답으로서 유저로부터 수신한 음성에 프리셋명이 포함되어 있으면, MFP(101)는 작업을 실행하기 전에 예를 들어 도 13a의 메시지(1301)를 마이크로폰 및 스피커(205)로부터 출력한다. 메시지(1301)는 수신된 음성에 포함된 프리셋명에 연관지어져 등록된 기능 설정 정보를 포함한다. 한편, MFP(101)가 OFF로 설정된 사전 통지 기능을 갖는 경우, 작업의 기능 설정 정보를 설정하도록 유저에게 촉구하는 메시지에 대한 응답으로서 유저로부터 수신된 음성에 프리셋명이 포함되어 있으면, 예를 들어 도 13b에 도시하는 바와 같이, MFP(101)는 수신된 음성에 포함된 프리셋명에 연관지어져 등록된 기능 설정 정보를 확인할 것을 유저에게 요구하는 메시지를 마이크로폰 및 스피커(205)로부터 출력하지 않고 작업을 실행한다.
도 14는 도 5의 작업 실행 처리의 변형의 흐름도이다. 도 14의 처리 또한 CPU(201)가 ROM(202) 또는 eMMC(204)에 저장된 프로그램을 실행함으로써 행해진다. 도 14의 처리 또한 예를 들어 MFP(101)가 기동될 때 실행된다.
도 14를 참조하면, CPU(201)는 단계 S501 내지 S504를 실행한다. 단계 S504에서 수신된 음성에 프리셋명이 포함되어 있지 않다고 판정되는 경우, CPU(201)는 단계 S506 및 S507를 실행한다.
단계 S507에서 후보 리스트로부터 프리셋명 중 하나가 선택되었다고 판정되는 경우 또는 단계 S504에서 수신된 음성에 미리 등록된 프리셋명이 포함되어 있다고 판정되는 경우, CPU(201)는 사전 통지 기능이 ON 또는 OFF로 설정되어 있는지의 여부를 판정한다(단계 S1401).
단계 S1401에서 사전 통지 기능이 ON로 설정되어 있다고 판정되는 경우, CPU(201)는 수신된 음성에 포함되는 프리셋명과 연관지어져 미리 등록된 기능 설정 정보를 확인할 것을 유저에게 요구하는 메시지, 예를 들어 도 13a의 메시지(1301)를 유저에게 통지한다(단계 S1402). 단계 S1402의 통지는, 마이크로폰 및 스피커(205)로부터 출력되는 음성 및 콘솔부(208)에 표시되는 메시지 중 적어도 하나에 의해 행해진다. 이어서, CPU(201)는, 마이크로폰 및 스피커(205)를 통해 다른 음성을 수신하면, 수신된 음성의 음성 식별 정보에 기초하여 기능 설정 정보의 내용을 변경할 것인지의 여부를 판정한다(단계 S1403).
단계 S1403에서 기능 설정 정보의 내용을 변경하지 않는 것으로 판정되는 경우 또는 단계 S1401에서 사전 통지 기능이 OFF로 설정되어 있다고 판정되는 경우, CPU(201)는 단계 S505 이후를 행한다. 단계 S1403에서 기능 설정 정보의 내용을 변경하는 것으로 판정되는 경우, 또는 단계 S507에서 후보 리스트로부터 어떠한 프리셋명도 선택되지 않는 것으로 판정되는 경우, CPU(201)는 단계 S508 내지 S510를 행한다.
단계 S510에서 작업에서 사용된 기능 설정 정보에 연관지어 지는 프리셋명을 나타내는 음성이 마이크로폰 및 스피커(205)를 통해 수신되었다고 판정되는 경우, CPU(201)는 수신된 음성이 나타내는 프리셋명과 동일한 프리셋명이 등록되어 있는지의 여부를 판정한다(단계 S1404).
단계 S1404에서 수신된 음성이 나타내는 프리셋명과 동일한 프리셋명이 등록되어 있지 않다고 판정되는 경우, CPU(201)는 단계 S511 이후를 행한다. 단계 S1404에서 수신된 음성이 나타내는 프리셋명과 동일한 프리셋명이 등록되어 있다고 판정되는 경우, CPU(201)는, 예를 들어 도 15의 메시지(1501)를 마이크로폰 및 스피커(205)로부터 출력하여, 프리셋명과 연관지어져 등록된 정보를 덮어쓰기할 것인지의 여부를 선택하도록 유저에게 촉구한다(단계 S1405). 프리셋명과 연관지어져 등록된 정보의 덮어쓰기는, 미리 프리셋명과 연관지어져 있는 기능 설정 정보를 단계 S508에서 사용된 기능 설정 정보로 갱신하는 처리를 지칭한다.
단계 S1405에서, 유저로부터 프리셋명과 연관지어져 등록된 정보를 덮어쓰기한다는 취지의 메시지를 마이크로폰 및 스피커(205)를 통해 수신하면, CPU(201)는 프리셋명과 연관지어져 등록된 정보를 덮어쓰기하고(단계 S1406), 이후 본 처리를 종료한다.
단계 S1405에서, 프리셋명과 연관지어져 등록된 정보를 덮어쓰기하지 않는다는 취지의 메시지를 마이크로폰 및 스피커(205)를 통해 유저로부터 수신하면, CPU(201)는 예를 들어 도 15의 메시지(1502)를 마이크로폰 및 스피커(205)로부터 출력하여, 프리셋명의 후보를 유저에게 통지한다(단계 S1407). 단계 S1407에서는, CPU(201)는, 수신된 음성이 나타내는 프리셋명과 이미 등록된 프리셋명 사이의 차이에 기초하여 특징적인 문자열을 포함하는 프리셋명의 후보를 생성하고, 생성된 프리셋명의 후보를 유저에게 통지한다. 단계 S1407의 통지는, 마이크로폰 및 스피커(205)로부터 출력되는 음성 및 콘솔부(208)에 표시되는 메시지 중 적어도 하나에 의해 행해진다. 이어서, CPU(201)는 단계 S512를 행한다.
상술한 실시형태에서는, 유저가 발화한 음성을 MFP(101)의 마이크로폰 및 스피커(205)가 수신한 경우에 대해서 설명했지만, 유저가 발화한 음성은 스마트 스피커 등의 모바일 단말기(도시되지 않음)에 의해 수신될 수 있다. 모바일 단말기는, 유저가 발화한 음성을 수신하면, 예를 들어 무선 LAN 라우터(212)를 통해 유저 조작 요구를 MFP(101)에 전송한다. MFP(101)는, 단계 S302에서 행해지는 처리로서, 수신된 유저 조작 요구를 자연어 처리 서비스(102)에 전송한다. 자연어 처리 서비스(102)는 수신된 유저 조작 요구에 기초하여 단계 S303 및 S304를 행하고, 복합기 관리 서비스(104)는 단계 S305 및 S306를 행하며, 음성 식별 정보를 MFP(101)에 전송한다.
대안적으로, 모바일 단말기는, 유저가 발화한 음성을 수신하면, 예를 들어 무선 LAN 라우터(212)를 통해서 유저 조작 요구를 자연어 처리 서비스(102)에 전송한다. 자연어 처리 서비스(102)는 수신된 유저 조작 요구에 기초하여 단계 S303 및 S304를 행하고, 복합기 관리 서비스(104)는 단계 S305 및 S306를 행하며, 음성 식별 정보를 MFP(101)에 전송한다.
또한, 상술한 실시형태에서는, MFP에 자연어 처리 서비스(102) 및 복합기 관리 서비스(104)의 기능이 설치될 수 있다. 도 16은 자연어 처리 서비스(102) 및 복합기 관리 서비스(104)가 설치된 MFP(1600)의 기능 블록도이다.
음성 입력부(1601)는, 유저가 발화한 음성을 수신하면, 수신된 음성에 관련된 데이터(이하, "음성 데이터"라고 칭함)를 음질 조정부(1602)에 전송한다. 음질 조정부(1602)는, 음질이 조정된 음성 데이터를 자연어 프로세서(1603) 및 성문 판정부(1607)에 전송한다. 자연어 프로세서(1603)는, 음질이 조정된 음성 데이터를 텍스트 데이터로 변환하고, 텍스트 데이터를 어휘 분석부(1604)에 전송한다. 어휘 분석부(1604)는, 수신된 텍스트 데이터를 자구로 변환하고, 자구를 커맨드 분석부(1605)에 전송한다. 커맨드 분석부(1605)는, 수신된 자구를 분석하여, 유저가 발화한 음성이 나타내는 지시를 식별한다. 커맨드 분석부(1605)는, 식별된 지시를 나타내는 커맨드 데이터를 커맨드 DB(1606)에 저장하며 커맨드 데이터를 컨트롤러(1611)에 전송한다. 성문 판정부(1607)는, 음질이 조정된 음성 데이터에 기초하여 성문을 판정하고, 성문 판정의 결과에 기초하여 식별된 유저에 대한 정보(이하 "유저 정보"라 칭함)을 생성하며, 생성된 유저 정보를 유저 식별부(1608)에 전송한다. 유저 식별부(1608)는, 성문 판정부(1607)로부터 수신된 유저 정보와 유저 DB(1609)에 미리 등록된 유저 등록 정보에 기초하여 유저 인증을 행한다. 유저 식별부(1608)는, 유저 정보 및 유저 인증의 결과를 나타내는 유저 식별 정보를 컨트롤러(1611)에 전송한다. 장치 상태 관리부(1610)는 MFP(1600)의 장치 상태 정보를 컨트롤러(1611)에 전송한다. 컨트롤러(1611)는, 응답 명령을 음성 출력부(1612)에 전송하고, 사용되는 설정에 관련된 설정 커맨드를 설정부(1613)에 전송하며, 이용되는 기능을 나타내는 기능 커맨드를 출력부(1615)에 전송한다. 설정부(1613)는, 프리셋에 대한 정보를 프리셋 DB(1614)에 대해 전송 및 수신하고, 예를 들어 음성 입력부(1601)에 의해 수신된 음성이 나타내는 프리셋명과 연관지어진 기능 설정 정보를 출력부(1615)에 전송한다. 출력부(1615)는, 기능 커맨드가 나타내는 기능에 의해, 설정부(1613)로부터 취득된 기능 설정 정보를 사용해서 작업을 실행한다. 예를 들어, 출력부(1615)는, 기능 커맨드가 나타내는 FAX 유닛(1616)에 의해, 설정부(1613)로부터 취득된 기능 설정 정보를 사용하여 FAX 데이터를 외부 장치에 전송한다.
다른 실시형태
본 발명의 실시형태(들)는, 전술한 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체(보다 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'라 칭할수도 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독 및 실행하고 그리고/또는 전술한 실시형태(들) 중 하나 이상의 기능을 실행하는 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어 전술한 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어를 판독 및 실행함으로써 그리고/또는 전술한 실시형태(들) 중 하나 이상의 기능을 실행하기 위해 하나 이상의 회로를 제어함으로써 상기 시스템 또는 장치의 컴퓨터에 의해 실행되는 방법에 의해 실현될 수도 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어를 판독 및 실행하기 위한 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
(기타의 실시예)
본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.
또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
본 발명을 예시적인 실시형태를 참고하여 설명하였지만, 본 발명은 개시된 예시적인 실시형태로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 분석되어야 한다.
본 출원은 전문이 본원에 참조로 통합되는 2018년 9월 4일에 출원된 일본 특허 출원 제2018-165379호 및 2019년 6월 28일에 출원된 일본 특허 출원 제2019-121813호의 이익을 주장한다.

Claims (17)

  1. 화상 형성 시스템이며,
    시트에 화상을 형성하도록 구성되는 화상 형성 장치;
    음성을 수신할 수 있는 마이크로폰; 및
    적어도 하나의 컨트롤러를 포함하고,
    상기 적어도 하나의 컨트롤러는,
    상기 마이크로폰을 통해서 입력되고 적어도 하나의 화상 형성 설정을 나타내는 제1 음성의 수신 및 상기 적어도 하나의 화상 형성 설정을 만들기 위한 일련의 처리의 종료 후에, 등록 지시를 수신하도록 구성되는 지시 수신 유닛;
    상기 등록 지시가 수신되면, 상기 제1 음성에 기초하여 취득되는 상기 적어도 하나의 화상 형성 설정을 상기 마이크로폰을 통해서 입력된 제2 음성에 기초하여 취득되는 식별 정보와 연관시키도록 구성되는 제1 유닛; 및
    상기 마이크로폰을 통해서 입력된 제3 음성에 기초하여 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 취득하고, 상기 취득된 적어도 하나의 화상 형성 설정에 적어도 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하도록 구성되는 제2 유닛으로서 기능하도록 구성되는, 화상 형성 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 적어도 하나의 컨트롤러는, 상기 적어도 하나의 화상 형성 설정을 상기 식별 정보와 연관시키기 전에, 상기 식별 정보와 연관지어질 상기 적어도 하나의 화상 형성 설정의 모두를 출력하도록 구성되는 제4 유닛으로서 기능하게 구성되는 화상 형성 시스템.
  4. 제1항에 있어서, 상기 적어도 하나의 컨트롤러는, 상기 제3 음성이 상기 식별 정보에 대응하는 특정한 단어를 포함하는 경우에, 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정에 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하기 전에, 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 출력하도록 구성되는 제3 유닛으로서 기능하게 구성되는 화상 형성 시스템.
  5. 제1항에 있어서, 상기 적어도 하나의 컨트롤러는, 상기 제3 음성이 복수의 상이한 항목의 식별 정보에 대응하는 특정한 단어를 포함하는 경우에, 상기 복수의 상이한 항목의 식별 정보로부터 하나를 선택하도록 유저에게 촉구하기 위한 후보로서 상기 복수의 상이한 항목의 식별 정보를 출력하도록 구성되는 제3 유닛으로서 기능하게 구성되는 화상 형성 시스템.
  6. 제1항에 있어서, 상기 제1 유닛 및 상기 제2 유닛은 네트워크를 통해 연결된 서버에 배치되고,
    상기 마이크로폰을 통해서 입력된 상기 제1, 제2 및 제3 음성은 상기 서버의 상기 제1 유닛 및 상기 제2 유닛에 전송되며,
    상기 식별 정보와 연관지어진 적어도 하나의 화상 형성 설정은 상기 화상 형성 장치에 전송되는 화상 형성 시스템.
  7. 제1항에 있어서, 상기 마이크로폰은 상기 화상 형성 장치와 별개로 배치되며,
    상기 마이크로폰에 입력된 음성은 통신에 의해 상기 제1 유닛 및 상기 제2 유닛을 포함하는 상기 화상 형성 장치에 전송되는 화상 형성 시스템.
  8. 제6항에 있어서, 상기 마이크로폰은 상기 화상 형성 장치와 별개로 배치되며,
    상기 마이크로폰에 입력된 음성은 상기 서버의 상기 제1 유닛 및 상기 제2 유닛에 전송되는 화상 형성 시스템.
  9. 시트에 화상을 형성하도록 구성되는 화상 형성 장치와 음성을 취득할 수 있는 마이크로폰을 포함하는 화상 형성 시스템을 제어하는 방법이며,
    상기 마이크로폰을 통해서 입력되고 적어도 하나의 화상 형성 설정을 나타내는 제1 음성의 수신 및 상기 적어도 하나의 화상 형성 설정을 만들기 위한 일련의 처리의 종료 후에, 등록 지시를 수신하는 단계;
    상기 등록 지시가 수신되면, 상기 제1 음성에 기초하여 취득되는 상기 적어도 하나의 화상 형성 설정을 상기 마이크로폰을 통해서 입력된 제2 음성에 기초하여 취득되는 식별 정보와 연관시키는 단계; 및
    상기 마이크로폰을 통해서 입력된 제3 음성에 기초하여 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 취득하고, 상기 취득된 적어도 하나의 화상 형성 설정에 적어도 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하는 단계를 포함하는 화상 형성 시스템을 제어하는 방법.
  10. 삭제
  11. 제9항에 있어서, 상기 적어도 하나의 화상 형성 설정을 상기 식별 정보와 연관시키기 전에, 상기 식별 정보와 연관지어질 상기 적어도 하나의 화상 형성 설정의 모두를 출력하는 단계를 더 포함하는 화상 형성 시스템을 제어하는 방법.
  12. 제9항에 있어서, 상기 제3 음성이 상기 식별 정보에 대응하는 특정한 단어를 포함하는 경우, 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정에 기초한 화상 형성을 상기 화상 형성 장치가 실행하게 하기 전에, 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 출력하는 단계를 더 포함하는 화상 형성 시스템을 제어하는 방법.
  13. 제9항에 있어서, 상기 제3 음성이 복수의 상이한 항목의 식별 정보에 대응하는 특정한 단어를 포함하는 경우에, 상기 복수의 항목의 식별 정보로부터 하나를 선택하도록 유저에게 촉구하기 위한 후보로서 상기 복수의 항목의 식별 정보를 출력하는 단계를 더 포함하는 화상 형성 시스템을 제어하는 방법.
  14. 제9항에 있어서, 상기 마이크로폰을 통해서 입력된 상기 제1, 제2, 및 제3 음성을 네트워크를 통해 연결된 서버에 전송하는 단계, 및
    상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 상기 화상 형성 장치에 전송하는 단계를 더 포함하는 화상 형성 시스템을 제어하는 방법.
  15. 제9항에 있어서, 상기 마이크로폰은 상기 화상 형성 장치와 별개로 배치되며,
    상기 방법은 상기 마이크로폰에 입력된 음성을 통신에 의해 상기 화상 형성 장치에 전송하는 단계를 더 포함하는 화상 형성 시스템을 제어하는 방법.
  16. 제14항에 있어서, 상기 마이크로폰은 상기 화상 형성 장치와 별개로 배치되며,
    상기 방법은 상기 마이크로폰에 입력된 음성을 상기 서버에 전송하는 단계를 더 포함하는 화상 형성 시스템을 제어하는 방법.
  17. 시트에 화상을 형성하도록 구성되는 화상 형성 장치 및 음성을 취득할 수 있는 마이크로폰을 포함하는 화상 형성 시스템을 제어하는 방법을 실행하기 위한 컴퓨터 판독가능 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체이며,
    상기 방법은,
    상기 마이크로폰을 통해서 입력되고 적어도 하나의 화상 형성 설정을 나타내는 제1 음성의 수신 및 상기 적어도 하나의 화상 형성 설정을 만들기 위한 일련의 처리의 종료 후에, 등록 지시를 수신하는 단계;
    상기 등록 지시가 수신되면, 상기 제1 음성에 기초하여 취득되는 상기 적어도 하나의 화상 형성 설정을 상기 마이크로폰을 통해서 입력된 제2 음성에 기초하여 취득되는 식별 정보와 연관시키는 단계; 및
    상기 마이크로폰을 통해서 입력된 제3 음성에 기초하여 상기 식별 정보와 연관지어진 상기 적어도 하나의 화상 형성 설정을 취득하고, 상기 취득된 적어도 하나의 화상 형성 설정에 적어도 기초하는 화상 형성을 상기 화상 형성 장치가 실행하게 하는 단계를 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
KR1020190104951A 2018-09-04 2019-08-27 대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체 KR102537797B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2018-165379 2018-09-04
JP2018165379 2018-09-04
JPJP-P-2019-121813 2019-06-28
JP2019121813A JP7458716B2 (ja) 2018-09-04 2019-06-28 音声対話装置及びその制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20200027423A KR20200027423A (ko) 2020-03-12
KR102537797B1 true KR102537797B1 (ko) 2023-05-31

Family

ID=69737931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104951A KR102537797B1 (ko) 2018-09-04 2019-08-27 대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체

Country Status (4)

Country Link
US (1) US11647129B2 (ko)
JP (1) JP7458716B2 (ko)
KR (1) KR102537797B1 (ko)
CN (1) CN115811576A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023034013A (ja) * 2021-08-30 2023-03-13 キヤノン株式会社 情報処理装置およびその制御方法、情報処理システム、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004728A1 (en) * 2000-07-26 2003-01-02 Keiller Robert Alexander System
US20100097654A1 (en) * 2008-10-17 2010-04-22 Seiko Epson Corporation Computer Readable Storage Medium with Printer Driver Stored Therein
US20110141516A1 (en) * 2009-12-11 2011-06-16 Canon Kabushiki Kaisha Data processing apparatus, image forming apparatus, and control method for controlling data processing apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365145A (en) * 2000-07-26 2002-02-13 Canon Kk Voice control of a machine
JP2003076538A (ja) * 2001-08-30 2003-03-14 Canon Inc 印刷システムおける印刷制御方法
JP4343626B2 (ja) 2003-09-02 2009-10-14 キヤノン株式会社 画像通信制御方法、画像通信制御プログラム、および画像通信装置
JP2007102012A (ja) * 2005-10-06 2007-04-19 Canon Inc 画像形成装置
JP2007114297A (ja) * 2005-10-18 2007-05-10 Canon Inc 音声認識手段を持つ画像形成装置
JP2007201686A (ja) 2006-01-25 2007-08-09 Murata Mach Ltd 画像読取装置
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4818166B2 (ja) 2007-03-09 2011-11-16 株式会社リコー 画像形成装置、画像形成システム、画像形成方法および画像形成プログラム
JP2008257383A (ja) * 2007-04-03 2008-10-23 Seiko Epson Corp 印刷装置、印刷方法、およびコンピュータプログラム
JP2010136335A (ja) * 2008-11-05 2010-06-17 Ricoh Co Ltd 画像形成装置、制御方法およびプログラム
JP5146429B2 (ja) * 2009-09-18 2013-02-20 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、音声認識処理装置、音声認識処理装置の制御方法、およびコンピュータプログラム
CN202798910U (zh) * 2012-09-20 2013-03-13 艾塔斯科技（镇江）有限公司 可语音控制的扫描仪
US20150254024A1 (en) 2014-03-06 2015-09-10 Xerox Corporation Using preset combination of page exception print settings to establish exception pages within documents
JP6327930B2 (ja) 2014-05-02 2018-05-23 キヤノン株式会社 画像形成装置、情報処理方法及びプログラム
JP6623865B2 (ja) * 2016-03-14 2019-12-25 富士ゼロックス株式会社 画像処理装置及びプログラム
JP7091821B2 (ja) * 2018-05-14 2022-06-28 コニカミノルタ株式会社 画像処理装置及びプログラム
US11140284B2 (en) * 2018-09-04 2021-10-05 Canon Kabushiki Kaisha Image forming system equipped with interactive agent function, method of controlling same, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004728A1 (en) * 2000-07-26 2003-01-02 Keiller Robert Alexander System
US20100097654A1 (en) * 2008-10-17 2010-04-22 Seiko Epson Corporation Computer Readable Storage Medium with Printer Driver Stored Therein
US20110141516A1 (en) * 2009-12-11 2011-06-16 Canon Kabushiki Kaisha Data processing apparatus, image forming apparatus, and control method for controlling data processing apparatus

Also Published As

Publication number Publication date
JP2020038348A (ja) 2020-03-12
US11647129B2 (en) 2023-05-09
KR20200027423A (ko) 2020-03-12
US20210409561A1 (en) 2021-12-30
CN115811576A (zh) 2023-03-17
JP7458716B2 (ja) 2024-04-01

Similar Documents

Publication Publication Date Title
US11140284B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
US11475892B2 (en) Speech control system, speech control method, image processing apparatus, speech control apparatus, and storage medium
US11172082B2 (en) Information processing apparatus, information processing system, and information processing method
US10838693B2 (en) Printing system transmitting message data, control method, and server
US11586866B2 (en) System including a controlling server for printing print data based on a first printing content and print data based on a second printing content
US9250838B2 (en) Terminal device, output system, and output method
US20180275926A1 (en) Information processing system, help display method, and electronic device
US12015746B2 (en) Image processing system, setting control method, image processing apparatus, and storage medium
KR102537797B1 (ko) 대화형 에이전트 기능이 설치된 화상 형성 시스템, 그 제어 방법 및 저장 매체
US11825042B2 (en) Peripheral device management system, peripheral device management method, and printing apparatus control system
JP2016218887A (ja) 端末装置、プログラム及び出力システム
JP2020077344A (ja) 情報処理システム、情報処理装置、ジョブ制御方法およびジョブ制御プログラム
US11201975B2 (en) Server system having voice-controlled printing apparatus
US11847515B2 (en) Management system, method, management server, and computer-readable storage medium storing program
US12010283B2 (en) Information processing apparatus, image processing apparatus and control method thereof
US11700338B2 (en) Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor
US11647130B2 (en) Information processing system capable of connecting a plurality of voice control devices, method of controlling information processing system, and storage medium
JP2015095233A (ja) 出力システム、端末装置、プログラム、及び出力方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant