JP2021149455A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2021149455A
JP2021149455A JP2020048224A JP2020048224A JP2021149455A JP 2021149455 A JP2021149455 A JP 2021149455A JP 2020048224 A JP2020048224 A JP 2020048224A JP 2020048224 A JP2020048224 A JP 2020048224A JP 2021149455 A JP2021149455 A JP 2021149455A
Authority
JP
Japan
Prior art keywords
user
voice
processor
authenticated
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020048224A
Other languages
English (en)
Other versions
JP7409179B2 (ja
Inventor
綾佳 新川
Ayaka Shinkawa
綾佳 新川
英樹 佐藤
Hideki Sato
英樹 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2020048224A priority Critical patent/JP7409179B2/ja
Priority to US16/908,743 priority patent/US11544366B2/en
Priority to CN202010766708.3A priority patent/CN113497855A/zh
Publication of JP2021149455A publication Critical patent/JP2021149455A/ja
Application granted granted Critical
Publication of JP7409179B2 publication Critical patent/JP7409179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00392—Other manual input means, e.g. digitisers or writing tablets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4406—Restricting access, e.g. according to user identity
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

【課題】利用者が認証されず又は利用者の音声が認識されない場合にも、利用者の認証結果及び音声の認識結果に応じて処理の実行を操作できるようにする。【解決手段】情報処理装置はプロセッサを備え、このプロセッサは、利用者の音声を取得し、この音声を用いて利用者を認証するとともにこの音声を認識し、この利用者の認証結果及びこの音声の認識結果に応じて異なる、処理を実行する操作に用いられる操作画面を表示部に表示する。【選択図】図４

Description

本発明は、情報処理装置及びプログラムに関する。
音声を用いて装置を操作する技術が知られている。例えば特許文献１には、ユーザの音声を取得して声紋認証し、この音声を音声認識して得られたテキストデータに従って処理を実行する技術が記載されている。特許文献２には、人が近づいてくると音声を受信して音声認識を行ってコマンドを生成し、コマンドの実行に必要となる機能部に電力を供給させる技術が記載されている。特許文献３には、利用者の音声を認識してキーワードを抽出し、このキーワードと声紋パターンファイルに登録されたキーワードとが一致すると、利用者と対話形式にやり取りを行い、利用者の音声の指示に従って画像形成の動作を行う技術が記載されている。
特開２００７−１８８００１号公報 特開２０１７−２８３５５号公報 特開２００７−１９３１３８号公報
上述した特許文献１に記載の技術のように利用者の認証及び音声認識の両方に成功した場合に限り処理が実行される場合には、利用者が認証されず又は利用者の音声が認識されない場合には処理を実行するための操作が受け付けられず、処理が実行されない。
本発明は、利用者が認証されず又は利用者の音声が認識されない場合にも、利用者の認証結果及び音声の認識結果に応じて処理の実行を操作できるようにすることを目的とする。
請求項１に係る発明は、プロセッサを備え、前記プロセッサは、利用者の音声を取得し、前記音声を用いて前記利用者を認証するとともに当該音声を認識し、前記利用者の認証結果及び前記音声の認識結果に応じて異なる、処理を実行する操作に用いられる操作画面を表示部に表示することを特徴とする情報処理装置である。
請求項２に係る発明は、請求項１に記載の情報処理装置において、前記利用者が認証された場合、前記操作画面は前記音声の認識結果によって異なり、前記操作画面は、前記認証された利用者について予め定められた前記処理の設定値を含むことを特徴とする。
請求項３に係る発明は、請求項２に記載の情報処理装置において、前記設定値が予め定められていない場合、前記操作画面は前記利用者が前に前記処理に使用した設定値を含むことを特徴とする。
請求項４に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記利用者が認証された場合には前記操作画面を表示せず、前記操作がなくても前記処理を実行することを特徴とする。
請求項５に係る発明は、請求項４に記載の情報処理装置において、前記プロセッサは、前記利用者により前記処理の実行に必要な作業が行われていない場合には、前記作業を促す情報を前記表示部に表示することを特徴とする。
請求項６に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記情報処理装置の正面に居る前記利用者の検出に応じて、前記利用者の認証及び前記音声の認識を行うことを特徴とする。
請求項７に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記音声を用いて前記利用者が認証されずに前記音声が認識された場合には、撮像部により撮影された前記利用者の画像を用いて前記利用者を認証し、前記画像を用いて前記利用者が認証されると、前記操作画面を表示することを特徴とする。
請求項８に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記音声を用いて前記利用者が認証されなかった場合には、他の認証方法による前記利用者の認証に用いられる認証画面を前記表示部に表示することを特徴とする。
請求項９に係る発明は、請求項８に記載の情報処理装置において、前記プロセッサは、前記音声が認識された場合において、前記他の認証方法により前記利用者が認証されたときは、前記操作画面を表示部に表示することを特徴とする。
請求項１０に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記利用者が認証されずに前記音声が認識された場合には、前記利用者が認証された場合に表示される第１操作画面よりも設定値が制限された第２操作画面を前記表示部に表示することを特徴とする。
請求項１１に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記利用者が認証されずに前記音声が認識された場合には、前記利用者が認証された場合よりも機能を制限することを特徴とする。
請求項１２に係るプログラムは、コンピュータに、利用者の音声を取得するステップと、前記音声を用いて前記利用者を認証するとともに当該音声を認識するステップと、前記利用者の認証結果及び前記音声の認識結果に応じて異なる、処理を実行する操作に用いられる操作画面を表示部に表示するステップとを実行させるためのプログラムである。
請求項１に係る発明によれば、利用者が認証されず又は利用者の音声が認識されない場合にも、利用者の認証結果及び音声の認識結果に応じて処理の実行が操作できる。
請求項２に係る発明によれば、利用者について予め定められた処理の設定値が操作画面に含まれない場合に比べて、この設定値を容易に使用することができる。
請求項３に係る発明によれば、利用者が前に処理に使用した設定値が操作画面に含まれない場合に比べて、この設定値を容易に使用することができる。
請求項４に係る発明によれば、利用者が操作画面を用いて操作を行うことなく処理が実行される。
請求項５に係る発明によれば、利用者が処理の実行に必要な作業が分かる。
請求項６に係る発明によれば、情報処理装置の利用者以外の人の音声により、利用者の認証及び音声認識が行われるのを防ぐことができる。
請求項７に係る発明によれば、音声を用いて利用者が認証されなかった場合にも、情報処理装置を利用することができる。
請求項８に係る発明によれば、音声を用いて利用者が認証されなかった場合にも、情報処理装置を利用することができる。
請求項９に係る発明によれば、音声を用いて利用者が認証されなかった場合にも、利用者の認証結果及び音声の認識結果に応じて処理の実行が操作できる。
請求項１０に係る発明によれば、利用者が認証されなかった場合にも、制限された設定値に従った処理を実行することができる。
請求項１１に係る発明によれば、利用者が認証されない場合にも、機能が制限された処理を実行することができる。
請求項１２に係る発明によれば、利用者が認証されず又は利用者の音声が認識されない場合にも、利用者の認証結果及び音声の認識結果に応じて処理の実行が操作できる。
実施形態に係る画像処理システム１００の構成の一例を示す図である。 画像処理装置１２０の構成の一例を示す図である。 音声データベース２１１の一例を示す図である。 画像処理装置１２０の動作の一例を示すフローチャートである。 ログイン画面１４０の一例を示す図である。 設定画面１５０の一例を示す図である。 メニュー画面１６０の一例を示す図である。 認証結果画面１７０の一例を示す図である。 制限モードの設定処理の一例を示すシーケンスチャートである。 ファクシミリの送信先の設定画面１７５の一例を示す図である。 通知画面１８０の一例を示す図である。 対象処理がコピー処理である場合の制限モードの設定画面１８５の一例を示す図である。 対象処理がファクシミリ処理である場合の制限モードの設定画面１９０の一例を示す図である。
１．構成
図１は、実施形態に係る画像処理システム１００の構成の一例を示す図である。画像処理システム１００は、サーバ装置１１０と画像処理装置１２０とを備える。サーバ装置１１０と画像処理装置１２０とは、インターネット等の通信回線１３０を介して接続されている。画像処理装置１２０は、利用者の音声を用いて利用者の認証を行うとともに、利用者の音声を認識しその認識結果に応じた操作（以下、「音声操作」という。）を受け付ける。サーバ装置１１０は、利用者の認証には失敗したものの音声の認識には成功した場合に、画像処理装置１２０の処理の対象となる画像に基づいて、画像処理装置１２０の処理の実行の許否を判断する。サーバ装置１１０は、画像に含まれる文字を認識する機能を有する。この機能は、例えばＯＣＲ（Optical Character Recognition）により実現される。
図２は、画像処理装置１２０の構成の一例を示す図である。画像処理装置１２０は、コピー機能、プリント機能、スキャン機能、ファクシミリ機能等の画像を処理する複数の機能を有する。画像処理装置１２０は、利用者の操作に応じてこれらの機能を実現する処理を行う。この操作には、音声操作と画面を用いた操作とが含まれる。画像処理装置１２０は、プロセッサ１２１と、メモリ１２２と、通信部１２３と、操作部１２４と、表示部１２５と、画像読取部１２６と、画像形成部１２７と、音声取得部１２８と、撮像部１２９とを備える。これらの部位はバスを介して接続されている。
プロセッサ１２１は、プログラムを実行することにより、画像処理装置１２０の各部を制御して画像処理装置１２０の機能を実現する処理を行う。プロセッサ１２１には、例えばＣＰＵ（Central Processing Unit）が用いられる。メモリ１２２には、画像処理装置１２０の処理を実行するためのプログラムと、予め登録された利用者の音声を格納する音声データベース２１１が記憶されている。メモリ１２２には、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）が用いられる。また、メモリ１２２には、ＲＯＭ及びＲＡＭに加えて、例えばハードディスクドライブ又はＳＳＤ（Solid State Drive）が用いられてもよい。通信部１２３は、通信回線１３０に接続されている。通信部１２３は、通信回線１３０を介してサーバ装置１１０とデータ通信を行う。操作部１２４は、利用者による画像処理装置１２０の操作に用いられる。操作部１２４には、例えばタッチパネルとボタンとが用いられる。表示部１２５は、画像処理装置１２０の処理に関する各種の画面を表示する。表示部１２５には、例えば液晶ディスプレイが用いられる。画像読取部１２６は、画像を読み取って画像データに変換する。画像読取部１２６には、例えばイメージスキャナが用いられる。画像形成部１２７は、画像データに応じた画像を用紙等の媒体上に形成する。画像形成部１２７には、例えばプリンターが用いられる。音声取得部１２８は、利用者の音声を取得する。音声取得部１２８には、例えばマイクロフォンが用いられる。撮像部１２９は、利用者の画像を撮影する。撮像部１２９には、例えばカメラが用いられる。
図３は、音声データベース２１１の一例を示す図である。音声データベース２１１には、ユーザＩＤと、処理ＩＤと、音声とが含まれる。ユーザＩＤは、利用者を一意に識別する情報である。処理ＩＤは、処理を一意に識別する情報である。この処理ＩＤは、処理の選択又は実行を命令するコマンドとしての役割も担う。音声は、利用者が発した各処理の操作ワードの音声である。この音声は、利用者により予め登録される。具体的には、利用者は、予め各処理の操作ワードを決定し、その操作ワードの音声を音声データベース２１１に登録する。例えば利用者Ａがコピー処理の操作ワードを「コピー」に決定した場合、利用者Ａは「コピー」という音声を発する。この音声は、音声取得部１２８により取得され、デジタル信号に変換された後、図３に示されるように、利用者ＡのユーザＩＤとコピー処理の処理ＩＤとの組に関連付けて記憶される。また、利用者Ａがファクシミリ処理の操作ワードを「ファックス」に決定した場合、利用者Ａは「ファックス」という音声を発する。この音声は、音声取得部１２８により取得され、デジタル信号に変換された後、図３に示されるように、利用者ＡのユーザＩＤとファクシミリ処理の処理ＩＤとの組に関連付けて記憶される。
なお、音声データベース２１１に含まれる音声は、利用者の音声そのものに限定されず、利用者の音声の特徴量であってもよいし、利用者の音声を機械学習することによって得られる機械学習モデルであってもよい。機械学習モデルについては、例えば利用者に操作ワードの音声を複数回発してもらい、それらの音声を機械学習することにより生成される。機械学習モデルは、音声が入力されると、対応する利用者の音声であるか否かを判別する。
２．動作
以下の説明において、プロセッサ１２１を処理の主体として記載する場合、これは、メモリ１２２に記憶されたプログラムと、このプログラムを実行するプロセッサ１２１との協働により、プロセッサ１２１が演算を行い又は他のハードウェア要素の動作を制御することにより、処理が行われることを意味する。
図４は、画像処理装置１２０の動作の一例を示すフローチャートである。この動作は、例えば利用者が画像処理装置１２０を利用するときに開始される。ステップＳ１１において、プロセッサ１２１は、ログイン画面１４０を表示部１２５に表示する。図５は、ログイン画面１４０の一例を示す図である。例えば原稿画像をコピーする場合において、コピー処理の操作ワードが「コピー」であるときは、利用者は「コピー」という音声を発する。
ステップＳ１２において、プロセッサ１２１は、音声取得部１２８により利用者の音声を取得する。例えば利用者が「コピー」という音声を発した場合、音声取得部１２８によりこの音声が取得される。
ステップＳ１３において、プロセッサ１２１は、ステップＳ１２において取得された音声を用いてユーザ認証処理と音声認識処理とを行う。これらの処理は並行して同時に行われる。すなわち、音声認識処理は、ユーザ認証処理の結果に関わらず行われる。なお、ここでいう「同時」とは、厳密に同じ時ではなくてもよく、多少のずれがあってもよい。
ユーザ認証処理では、音声を用いて利用者が認証される。例えばステップＳ１２において取得された音声の声紋が、メモリ１２２に記憶された音声データベース２１１に含まれる音声の声紋と照合される。ここで、ステップＳ１２において取得された音声の声紋と音声データベース２１１において利用者ＡのユーザＩＤに関連付けられた音声の声紋が一致した場合には、利用者Ａが認証され、ユーザ認証が成功する。一方、音声データベース２１１の中にステップＳ１２において取得された音声と声紋が一致する音声が存在しない場合には、利用者が認証されず、ユーザ認証が失敗する。例えば予め登録されていない利用者については、音声データベース２１１に音声が登録されていないため、ユーザ認証が失敗する。また、音声データベース２１１において各利用者の音声の機械学習モデルが含まれる場合には、ステップＳ１２において取得された音声をこれらの機械学習モデルに入力して、いずれの利用者の音声であるかが判別されてもよい。
音声認識処理では、利用者の音声が認識される。ここでいう「音声の認識」とは、音声が示す操作ワード自体を認識するという意味に限定されず、音声が示す操作ワードの対象処理を識別するという意味も含む。例えばステップＳ１２において取得された音声が、メモリ１２２に記憶された音声データベース２１１に含まれる音声に照合される。ここで、ステップＳ１２において取得された音声と音声データベース２１１において利用者ＡのユーザＩＤとコピー処理の処理ＩＤとの組に関連付けられた音声とが一致した場合には、利用者Ａのコピー処理の操作ワードが認識される。また、音声データベース２１１において各利用者の音声の機械学習モデルが含まれる場合には、ステップＳ１２において取得された音声をこれらの機械学習モデルに入力して、いずれの処理の操作ワードであるかが判別されてもよい。一方、例えば利用者が操作ワード以外の言葉を示す音声を発した場合には、操作ワードが認識されず、音声認識が失敗する。
ステップＳ１４において、プロセッサ１２１は、ステップＳ１３において行われたユーザ認証処理の結果と音声認識処理の結果とを判定する。例えばユーザ認証と音声認識とのいずれも失敗した場合（ステップＳ１４の判定が「ユーザ認証失敗 音声認識失敗」）、上述したステップＳ１１の処理に戻る。このとき、ログインに失敗したことを示すメッセージが表示部１２５に表示されてもよい。一方、ユーザ認証と音声認識とのいずれも成功した場合（ステップＳ１４の判定が「ユーザ認証成功 音声認識成功」）、ステップＳ１５の処理に進む。
ステップＳ１５において、プロセッサ１２１は、音声認識処理により認識された操作ワードの対象処理の設定画面１５０を表示部１２５に表示する。この設定画面１５０は、対象処理を実行する操作に用いられる。この対象処理を実行する操作には、対象処理の設定を行う操作が含まれる。また、設定画面１５０は、ユーザ認証により認識された利用者に固有の情報を含んでもよい。設定画面１５０は、本発明に係る「操作画面」又は「第１操作画面」の一例である。
図６は、設定画面１５０の一例を示す図である。ここでは、ユーザ認証処理により利用者Ａが認識され、音声認識処理により利用者Ａのコピー処理の操作ワードが認識されたものとする。この場合、図６に示されるように、コピー処理の設定を行う操作に用いられる設定画面１５０が表示される。利用者は、設定画面１５０を用いてコピー処理の設定操作を行う。また、設定画面１５０は、認証された利用者Ａ専用の画面であってもよい。例えば利用者Ａによりコピー処理の設定値が予め設定されている場合、図６に示されるように、設定画面１５０にはこの設定値を示す設定ボタン１５１が含まれてもよい。この設定値は、複数の設定値のセットであってもよい。利用者は、設定ボタン１５１を押す操作を行うことにより、予め設定されたコピー処理の設定値を使用してもよい。一方、利用者Ａによりコピー処理の設定値が予め設定されていない場合、設定画面１５０には、利用者Ａが前回コピー処理に使用した設定値を示す設定ボタンが含まれていてもよい。この場合、メモリ１２２には、利用者毎に各処理の設定値の使用履歴が記憶され、この使用履歴に基づいて、利用者が前回使用した設定値が特定される。
なお、音声認識処理により利用者Ａのファクシミリ処理の操作ワードが認識された場合には、ファクシミリ処理の設定を行う操作に用いられる設定画面が表示される。同様に、音声認識処理により利用者Ａのスキャン処理の操作ワードが認識された場合には、スキャン処理の設定を行う操作に用いられる設定画面が表示される。このように、ステップＳ１５では、音声認識の結果によって異なる設定画面が表示される。
上述したステップＳ１４において判定された結果が、ユーザ認証に成功し音声認識に失敗したという結果である場合（ステップＳ１４の判定が「ユーザ認証成功 音声認識失敗」）、ステップＳ１６の処理に進む。ステップＳ１６において、プロセッサ１２１は、ユーザ認証処理により認証された利用者専用のメニュー画面１６０を表示部１２５に表示する。メニュー画面１６０は、画像処理装置１２０の処理を実行する操作に用いられる。この操作には、画像処理装置１２０の処理を選択する操作が含まれる。また、メニュー画面１６０は、ユーザ認証処理により認識された利用者に固有の情報を含む。メニュー画面１６０は、本発明に係る「操作画面」の一例である。
図７は、メニュー画面１６０の一例を示す図である。ここでは、ユーザ認証処理により、利用者Ａが認識されたものとする。図７に示されるように、メニュー画面１６０には、コピー処理、スキャン処理、ファクシミリ処理を選択する操作に用いられる選択ボタン１６１〜１６３が含まれる。選択ボタン１６１〜１６３は、画像処理装置１２０の処理を選択する操作を受け付ける。利用者Ａは、選択ボタン１６１〜１６３のいずれかを選択する操作を行うことにより、これらの処理のいずれかを選択してもよい。画像処理装置１２０の処理のいずれかが選択されると、その処理の設定を行う設定画面が表示される。例えば選択ボタン１６１を押す操作が行われると、コピー処理が選択されるため、図６に示されるコピー処理の設定画面１５０が表示される。
また、利用者Ａによりコピー処理、スキャン処理について予め設定値が設定されている場合、メニュー画面１６０には、予め設定された設定値に従ったコピー処理、スキャン処理を選択する操作に用いられる選択ボタン１６４及び１６５が含まれる。この設定値は、複数の設定値のセットであってもよい。利用者Ａは、選択ボタン１６４又は１６５を押す操作を行うことにより、予め設定された設定値に従ったコピー処理又はスキャン処理を選択してもよい。
さらに、メニュー画面１６０には、図７に示されるように、音声操作の案内情報１６６が含まれてもよい。案内情報１６６には、特定の処理の操作ワードが含まれてもよい。この特定の処理は、例えば利用者Ａの利用頻度が閾値以上の処理であってもよい。この場合、利用者毎に各処理の利用頻度が計数され、メモリ１２２に記憶される。例えば利用者Ａによるコピー処理の利用頻度が閾値以上である場合、案内情報１６６には、図３に示される音声データベース２１１において利用者ＡのユーザＩＤとコピー処理の処理ＩＤとに関連付けられた音声が示す「コピー」という操作ワードが含まれる。
上述したステップＳ１４において判定された結果がユーザ認証に失敗し音声認識に成功したという結果である場合（ステップＳ１４の判定が「ユーザ認証失敗 音声認識成功」）、ステップＳ１７の処理に進む。ステップＳ１７において、プロセッサ１２１は、ユーザ認証をやり直すか否かを判定する。このとき、プロセッサ１２１は、認証結果を示す認証結果画面１７０を表示部１２５に表示する。図８は、認証結果画面１７０の一例を示す図である。ここでは、ユーザ認証には失敗したものの、音声認識処理により「コピー」というコピー処理の操作ワードが認識されたものとする。図８に示されるように、認証結果画面１７０には、ユーザ認証に失敗したことを示す認証結果と、「コピー」という音声認識結果とが含まれる。また、認証結果画面１７０には、ユーザ認証のやり直しを選択する操作に用いられる選択ボタン１７１と、制限モードでの処理の実行を選択する操作に用いられる選択ボタン１７２とが含まれる。この制限モードとは、ユーザ認証が成功した場合よりも機能が制限される動作モードである。制限モードでは、情報セキュリティの観点から問題がないと考えられる処理については実行が許可される。すなわち、制限モードでは、情報セキュリティの観点から問題があると考えられる処理については実行が禁止される。このように、ユーザ認証に失敗した場合にも、制限モードにおける処理の実行ができるようにするのは、利用者は特定できないものの音声認識には成功しており、利用者が所望の処理は認識できるため、情報セキュリティの観点から問題がない範囲で処理の実行を許可してもよいと考えられるためである。
ユーザ認証をやり直す場合、利用者は選択ボタン１７１を押す操作を行う。この操作が行われると、ユーザ認証をやり直すと判定され（ステップＳ１７の判定がＹＥＳ）、上述したステップＳ１１の処理に戻る。一方、ユーザ認証をやり直さずに、制限モードで処理を実行したい場合、利用者は選択ボタン１７２を押す操作を行う。この操作が行われると、ユーザ認証をやり直さないと判定され（ステップＳ１７の判定がＮＯ）、ステップＳ１８の制限モードの設定処理に進む。
図９は、制限モードの設定処理の一例を示すシーケンスチャートである。なお、サーバ装置１１０は、画像処理装置１２０と同様に、プロセッサと、メモリと、通信部とを備える。以下の説明において、サーバ装置１１０を処理の主体として記載する場合、これは、メモリに記憶されたプログラムと、このプログラムを実行するプロセッサとの協働により、プロセッサが演算を行い又は他のハードウェア要素の動作を制御することにより、処理が行われることを意味する。
ステップＳ２１において、画像処理装置１２０のプロセッサ１２１は、対象処理を実行してもよいか否かを問い合わせる要求をサーバ装置１１０に送信する。この要求には、対象処理に用いられる画像を示す画像データが含まれる。例えば音声認識処理によりコピー処理の操作ワードが認識された場合、対象処理はコピー処理になるため、問合せ要求には、画像読取部１２６により読み取られた原稿画像を示す画像データが含まれる。一方、上述したステップＳ１３においてファクシミリ処理の操作ワードが認識された場合、対象処理はファクシミリ処理になる。この場合、プロセッサ１２１は、まずファクシミリの送信先の設定画面１７５を表示部１２５に表示する。図１０は、ファクシミリの送信先の設定画面１７５の一例を示す図である。設定画面１７５は、ファクシミリの送信先を指定する操作を受け付ける。ただし、設定画面１７５は、予め登録された送信先しか送信先を指定する操作を受け付けない。例えば図１０に示されるように、設定画面１７５には、予め登録された送信先であるＸ社及びＹ社を選択する操作を受け付ける選択ボタン１７６及び１７７が含まれる。一方、設定画面１７５は、新たな送信先を指定する操作を受け付ける操作画像は含まれず、このような操作は受け付けない。利用者は、設定画面１７５を用いて送信先を指定する操作を行う。例えば利用者が選択ボタン１７６を押す操作を行うと、ファクシミリの送信先が「Ｘ社」に指定される。この場合、問合せ要求には、画像読取部１２６により読み取られた原稿画像を示す画像データと、「Ｘ社」という送信先を示す送信先情報とが含まれる。なお、この問合せ要求は、必ずしも行われなくてもよい。例えば対象処理がスキャン処理である場合には、問合せ要求は行われなくてもよい。
ステップＳ２２において、サーバ装置１１０は、画像処理装置１２０から受信した画像データに基づいて、対象処理の実行の許否を判定する。例えばサーバ装置１１０は、ＯＣＲにより画像データに含まれる文字を認識する。例えば画像データに特定の文字が含まれる場合には、対象処理の実行を禁止すると判定される。この特定の文字は、例えば「社内秘」や「コピー禁止」等の文字であり、処理毎に予め定められてもよい。また、例えば画像データとともに送信先情報が受信された場合には、画像データに含まれる送信先を示す文字列が、送信先情報が示す送信先を示さない場合には、対象処理の実行を禁止すると判定される。一方、これら以外の場合には、対象処理の実行を許可すると判定される。ステップＳ２３において、サーバ装置１１０は、ステップＳ２２の判定結果を示す応答を画像処理装置１２０に送信する。
ステップＳ２４において、画像処理装置１２０のプロセッサ１２１は、サーバ装置１１０から受信した応答に基づいて、対象処理の実行が許可されたか否かを判定する。例えばサーバ装置１１０の応答が対象処理の実行を禁止するという判定結果を示す場合には、対象処理の実行が禁止されたと判定される（ステップＳ２４の判定がＮＯ）。この場合、ステップＳ２５において、プロセッサ１２１は、対象処理が実行されないことを通知する通知画面１８０を表示部１２５に表示する。図１１は、対象処理がコピー処理である場合に表示される通知画面１８０の一例を示す図である。図１１に示されるように、通知画面１８０には、コピー処理が実行されないことを示すメッセージが含まれる。
一方、上述したステップＳ２４において、サーバ装置１１０の応答が対象処理の実行を許可するという判定結果を示す場合には、対象処理の実行が許可されたと判定される（ステップＳ２４の判定がＹＥＳ）。この場合、ステップＳ２６において、プロセッサ１２１は、制限モードにおける対象処理の設定画面を表示部１２５に表示する。この制限モードの設定画面は、ユーザ認証が成功した場合に表示される設定画面１５０と同様に、音声認識処理により認識された操作ワードの対象処理を実行する操作に用いられる。この操作には、対象処理の設定を行う操作が含まれる。ただし、制限モードの設定画面では、ユーザ認証が成功した場合に表示される設定画面１５０よりも設定し得る設定値が制限されている。制限モードの設定画面では、情報セキュリティの観点から問題がないと考えられる設定値に限り設定し得る。言い換えると、制限モードの設定画面では、情報セキュリティの観点から問題があると考えられる設定値は設定できない。制限モードの設定画面は、本発明に係る「第２操作画面」の一例である。制限モードにおいて設定し得る設定値は、処理毎に予め決められている。
コピー処理及びプリント処理については、例えば色が白黒のみに制限され、コピー枚数が上限以下に制限される。また、プリント処理については、ＵＳＢ（Universal Serial Bus）プリントのみが許可され、ネットプリントは有効にできないように制限される。このＵＳＢプリントとは、ＵＳＢメモリに記憶されている画像データに応じた画像をプリントする機能である。このネットプリントとは、インターネット等の通信回線を介して送信された画像データに応じた画像をプリントする機能である。ネットプリントの利用者は不特定多数の人であるのに対し、ＵＳＢプリントの利用者は画像処理装置１２０の近傍に居る人に限定されるため、ＵＳＢプリントの方が情報セキュリティリスクが小さいと考えられる。ファクシミリ処理については、例えば送信先が予め登録された送信先に制限され、発信元情報の印字が無効にできないように制限され、リダイヤルが有効にできないように制限される。このリダイヤルとは、初回のファクシミリ送信に失敗した場合、自動的にリダイヤルを行う機能である。スキャン処理については、例えば格納先がゲスト用の格納先に制限され、画像の属性がリードオンリー属性に制限される。画像の属性がリードオンリー属性の場合、画像を編集することができない。
図１２は、対象処理がコピー処理である場合に表示される制限モードの設定画面１８５の一例を示す図である。この設定画面１８５は、コピー処理の設定を行う操作に用いられる。ただし、設定画面１８５は、図６に示される設定画面１５０よりも設定し得る設定値が制限されている。例えば設定画面１５０は白黒を設定する操作もカラーを設定する操作も受け付けるが、設定画面１８５は白黒を設定する操作しか受け付けず、カラーを設定する操作は受け付けない。また、設定画面１５０は、何部でもコピー枚数を設定する操作を受け付けるが、設定画面１８５は上限を超えるコピー枚数を設定する操作は受け付けない。
図１３は、対象処理がファクシミリ処理である場合に表示される制限モードの設定画面１９０の一例を示す図である。この設定画面１９０は、ファクシミリ処理の設定を行う操作に用いられる。ただし、設定画面１９０は、図１２に示される設定画面１８５と同様に、設定し得る設定値が制限されている。制限モードでは、初期設定において発信元情報を印字する設定が有効になっており、設定画面１９０は発信元情報を印字する設定を無効にする操作を受け付けない。さらに、設定画面１９０はリダイヤルを有効にする操作を受け付けない。
このように、ユーザ認証の結果及び音声認識の結果によって、表示部１２５には異なる操作画面が表示部１２５に表示される。上述したステップＳ１５、Ｓ１６、又はＳ２６の後、図４に示すステップＳ１９の処理に進む。ステップＳ１９において、プロセッサ１２１は、利用者の操作により設定された内容に従って処理を実行する。例えば図６に示される設定画面１５０においてカラー、１０部が設定された後、開始ボタン１５３を押す操作が行われると、画像形成部１２７により画像データに応じたカラーの画像が用紙に１０部形成される。また、図１２に示される設定画面１８５において白黒、１部が設定された後、開始ボタン１８６を押す操作が行われると、画像形成部１２７により画像データに応じた白黒の画像が用紙に１部形成される。制限モードにおいては、ユーザ認証に成功した場合に比べて、実行される処理の内容が制限される。
上述した実施形態によれば、ユーザ認証に成功し音声認識に失敗した場合には利用者のメニュー画面１６０が表示され、ユーザ認証に失敗し音声認識に成功した場合には、限モードの設定画面が表示されるため、利用者が認証されず又は利用者の音声が認識されない場合にも、利用者の認証結果及び音声の認識結果に応じて処理の実行が操作できる。また、ユーザ認証に失敗した場合にも音声認識に成功したときは、制限モードにおける処理の設定画面が表示されるため、制限された設定値を使用して情報セキュリティの観点から問題がない範囲で機能が制限された処理を実行することができる。したがって、ユーザ認証の精度が低い場合にも、利用者の利便性の悪化が抑制できる。さらに、設定画面１５０及び制限モードの設定画面は、音声認識処理により認識された操作ワードの対象処理の操作を受け付けるため、対象処理を選択する操作の手間が省ける。さらに、設定画面１５０及びメニュー画面１６０にはユーザ認証処理において認証された利用者に固有の情報が含まれるため、利便性が向上する。
さらに、利用者の操作ワードの音声が予め登録され、この音声と照合して音声認識が行われるため、例えば訛りや滑舌の問題等により利用者の発音が標準の発音と大きく異なる場合にも、操作ワードを認識することができる。その結果、音声認識の精度が向上する。さらに、操作ワードは利用者が自由に決められるため、他の利用者がなりすまし行為により不正に音声操作を行うことが防止される。その結果、情報セキュリティが強化される。また、利用者の音声操作により設定画面１５０又はメニュー画面１６０が表示されるため、処理が実行される前に、処理の内容を確認することができる。このように、処理が実行される前に利用者の操作を必要とすることにより、音声認識の精度が低い場合にも、利用者が所望の処理とは異なる処理が実行されるのを防ぐことができる。
さらに、設定画面１５０には利用者により予め設定されたコピー処理の設定値を示す設定ボタン１５１が含まれるため、この設定ボタン１５１が含まれない場合に比べて、この設定値を容易に使用することができる。さらに、設定画面１５０は、利用者が前回コピー処理に使用した設定値を示す設定ボタンが含まれる場合には、この設定ボタンが含まれない場合に比べて、この設定値を容易に使用することができる。
３．変形例
上述した実施形態は、本発明の一例である。本発明は、上述した実施形態に限定されない。また、上述した実施形態が以下の例のように変形して実施されてもよい。このとき、以下の２以上の変形例が組み合わせて用いられてもよい。
上述した実施形態において、ユーザ認証及び音声認識に成功した場合に、プロセッサ１２１は必ずしも設定画面１５０を表示しなくてもよい。例えばプロセッサ１２１は、この場合に、設定画面１５０を表示せず、利用者の操作なしに対象処理を実行してもよい。例えば定型の処理については、利用者により予め設定値が設定されている場合がある。対象処理がこのような処理である場合には、設定画面１５０を表示せず、利用者が操作部１２４を用いて操作を行わなくても、予め設定されている設定値に従って処理が実行されてもよい。この変形例によれば、利用者が画面を用いた操作を行わなくても、操作ワードの音声を発するだけで処理が実行される。また、この変形例において、利用者により対象処理の実行に必要な作業が行われていない場合には、この作業を促す情報が表示部１２５に表示されてもよい。例えば対象処理がコピー処理である場合において、画像読取部１２６に原稿が置かれていないときは、原稿を置く作業を促すメッセージが表示部１２５に表示されてもよい。画像読取部１２６に原稿が置かれているか否かは、例えば原稿を検知するセンサーを用いて判定される。この変形例によれば、利用者が処理の実行に必要な作業が分かる。
上述した実施形態において、音声を用いたユーザ認証に加えて、撮像部１２９により撮影された画像を用いたユーザ認証が行われてもよい。プロセッサ１２１は、撮像部１２９により撮影された利用者の顔画像を予め登録された利用者の顔画像と照合して、利用者の認証を行う。このように、音声を用いたユーザ認証に加えて、画像を用いたユーザ認証を行うことにより、例えば予め録音機に録音しておいた他人の音声を用いて音声操作を行うといったなりすまし行為を防止することができる。
上述した実施形態において、画像処理装置１２０の正面に利用者が居る場合に限り、ユーザ認証処理及び音声認識処理が行われてもよい。この正面とは、画像処理装置１２０から見て画像処理装置１２０を操作する利用者が立つ方向を示す。この場合、撮像部１２９は、利用者の音声が取得されると、画像処理装置１２０の正面の画像を撮影する。プロセッサ１２１は、例えば撮像部１２９により撮影された画像を解析することにより、画像処理装置１２０の正面に居る利用者を検出する。或いは、プロセッサ１２１は、赤外線センサーを用いて画像処理装置１２０の正面に居る利用者を検出してもよい。そして、プロセッサ１２１は、画像処理装置１２０の正面に居る利用者が検出された場合には、ユーザ認証処理及び音声認識処理を行う。この場合、上述したように、音声を用いたユーザ認証に加えて、撮像部１２９により撮影された画像を用いたユーザ認証が行われてもよい。一方、画像処理装置１２０の正面に居る利用者が検出されない場合には、プロセッサ１２１は、ユーザ認証処理及び音声認識処理を行わない。この変形例によれば、例えば画像処理装置１２０を操作する意思のない利用者以外の人が発した音声により、ユーザ認証処理及び音声認識処理が行われることを防ぐことができる。
上述した実施形態において、ユーザ認証に失敗し音声認識に成功した場合にも、上述したステップＳ１１に戻り、ログイン画面１４０が表示されてもよい。また、ステップＳ１１に戻った際に、音声を用いたユーザ認証とは異なる他の認証方式でユーザ認証が行われてもよい。他の認証方式は、例えば撮像部１２９により撮影された利用者の画像を用いた認証方式であってもよい。この場合、プロセッサ１２１は、撮像部１２９により撮影された利用者の顔画像を予め登録された利用者の顔画像と照合してユーザ認証を行う。ユーザ認証に成功すると、プロセッサ１２１は、設定画面１５０を表示部１２５に表示する。この変形例によれば、音声により利用者が認証されなかった場合にも、画像処理装置１２０を利用することができる。
上述した実施形態において、ユーザ認証に失敗し音声認識に成功した場合に、利用者専用のメニュー画面１６０に代えて、全利用者に共通のメニュー画面が表示されてもよい。全利用者に共通のメニュー画面には、利用者固有の情報、例えば選択ボタン１６４及び１６５並びに案内情報１６６は含まれない。
上述した実施形態において、上述したステップＳ１４の処理の後、ステップＳ１１の処理に戻る場合には、音声を用いたユーザ認証とは異なる他の認証方式でユーザ認証が行われてもよい。この場合、プロセッサ１２１は、他の認証方法によるユーザ認証に用いられる認証画面を表示部１２５に表示する。他の認証方式は、例えば撮像部１２９により撮影された利用者の画像を用いた認証方式であってもよい。また、プロセッサ１２１は、音声認識に成功している場合において、他の認証方法によりユーザ認証が成功したときは、設定画面１５０を表示部１２５に表示する。この変形例によれば、音声により利用者が認証されなかった場合にも、画像処理装置１２０を利用して処理を実行することができる。
上述した実施形態において、操作ワードは必ずしも処理の名称でなくてもよい。例えば操作ワードにユーザ名が含まれてもよい。この操作ワードが認識された場合には、例えばこのユーザ名に対応する利用者専用のメニュー画面１６０が表示される。
上述した実施形態における画像処理システム１００の処理の主体は例示であり、この例に限定されない。例えば画像処理装置１２０において行われる処理の少なくとも一部が他の装置において行われてもよい。また、サーバ装置１１０において行われる処理の少なくとも一部が他の装置において行われてもよい。例えばサーバ装置１１０に代えて画像処理装置１２０が制限モードにおいて処理の実行の許否を判定してもよい。この場合、サーバ装置１１０は設けられなくてもよい。また、上述した実施形態における画像処理システム１００の処理は例示であり、矛盾の無い限り、順序を入れ替えてもよい。
上述した実施形態において、本発明に係る情報処理装置は画像処理装置１２０に限定されない。情報処理装置は、例えばスマートフォン、パーソナルコンピュータ等、利用者の操作に応じて処理を実行する装置であればどのような装置であってもよい。例えばスマートフォンにおいては、利用者が電子メールの処理に対して予め決められた「メール」という操作ワードの音声を発した場合には、この音声を用いてユーザ認証処理及び音声認識処理が行われ、ユーザ認証及び音声認識に成功すると、電子メールのアプリケーションプログラムが起動され、電子メールの操作に用いられるメール画面が表示されてもよい。
上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ:Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。
また上記実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
本発明は、画像処理装置１２０及びサーバ装置１１０のそれぞれにおいて実行されるプログラムとして提供されてもよい。なお、画像処理装置１２０及びサーバ装置１１０は、それぞれ本発明に係るコンピュータの一例である。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよいし、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
１００：画像処理システム、１１０：サーバ装置、１２０：画像処理装置、１２１：プロセッサ、１２２：メモリ、１２３：通信部、１２４：操作部、１２５：表示部、１２６：画像読取部、１２７：画像形成部、１２８：音声取得部、１２９：撮像部

Claims (12)

  1. プロセッサを備え、
    前記プロセッサは、
    利用者の音声を取得し、
    前記音声を用いて前記利用者を認証するとともに当該音声を認識し、
    前記利用者の認証結果及び前記音声の認識結果に応じて異なる、処理を実行する操作に用いられる操作画面を表示部に表示する
    ことを特徴とする情報処理装置。
  2. 前記利用者が認証された場合、前記操作画面は前記音声の認識結果によって異なり、
    前記操作画面は、前記認証された利用者について予め定められた前記処理の設定値を含む
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記設定値が予め定められていない場合、前記操作画面は前記利用者が前に前記処理に使用した設定値を含む
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記プロセッサは、前記利用者が認証された場合には前記操作画面を表示せず、前記操作がなくても前記処理を実行する
    ことを特徴とする請求項１に記載の情報処理装置。
  5. 前記プロセッサは、前記利用者により前記処理の実行に必要な作業が行われていない場合には、前記作業を促す情報を前記表示部に表示する
    ことを特徴とする請求項４に記載の情報処理装置。
  6. 前記プロセッサは、前記情報処理装置の正面に居る前記利用者の検出に応じて、前記利用者の認証及び前記音声の認識を行う
    ことを特徴とする請求項１に記載の情報処理装置。
  7. 前記プロセッサは、
    前記音声を用いて前記利用者が認証されずに前記音声が認識された場合には、撮像部により撮影された前記利用者の画像を用いて前記利用者を認証し、
    前記画像を用いて前記利用者が認証されると、前記操作画面を表示する
    ことを特徴とする請求項１に記載の情報処理装置。
  8. 前記プロセッサは、前記音声を用いて前記利用者が認証されなかった場合には、他の認証方法による前記利用者の認証に用いられる認証画面を前記表示部に表示する
    ことを特徴とする請求項１に記載の情報処理装置。
  9. 前記プロセッサは、前記音声が認識された場合において、前記他の認証方法により前記利用者が認証されたときは、前記操作画面を表示部に表示する
    ことを特徴とする請求項８に記載の情報処理装置。
  10. 前記プロセッサは、前記利用者が認証されずに前記音声が認識された場合には、前記利用者が認証された場合に表示される第１操作画面よりも設定値が制限された第２操作画面を前記表示部に表示する
    ことを特徴とする請求項１に記載の情報処理装置。
  11. 前記プロセッサは、前記利用者が認証されずに前記音声が認識された場合には、前記利用者が認証された場合よりも機能を制限する
    ことを特徴とする請求項１に記載の情報処理装置。
  12. コンピュータに、
    利用者の音声を取得するステップと、
    前記音声を用いて前記利用者を認証するとともに当該音声を認識するステップと、
    前記利用者の認証結果及び前記音声の認識結果に応じて異なる、処理を実行する操作に用いられる操作画面を表示部に表示するステップと
    を実行させるためのプログラム。
JP2020048224A 2020-03-18 2020-03-18 情報処理装置及びプログラム Active JP7409179B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020048224A JP7409179B2 (ja) 2020-03-18 2020-03-18 情報処理装置及びプログラム
US16/908,743 US11544366B2 (en) 2020-03-18 2020-06-23 Information processing apparatus and non-transitory computer readable medium storing program
CN202010766708.3A CN113497855A (zh) 2020-03-18 2020-08-03 信息处理装置、存储介质及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048224A JP7409179B2 (ja) 2020-03-18 2020-03-18 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021149455A true JP2021149455A (ja) 2021-09-27
JP7409179B2 JP7409179B2 (ja) 2024-01-09

Family

ID=77747958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048224A Active JP7409179B2 (ja) 2020-03-18 2020-03-18 情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US11544366B2 (ja)
JP (1) JP7409179B2 (ja)
CN (1) CN113497855A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022007620A (ja) * 2020-06-26 2022-01-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11706357B2 (en) * 2021-08-24 2023-07-18 Toshiba Tec Kabushiki Kaisha Multifunction peripheral natural language chatbot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030392A (ja) * 2002-06-27 2004-01-29 Canon Sales Co Inc 画像処理装置およびサーバ装置および画像処理システムおよび画像処理設定方法およびコンピュータが読取り可能な記憶媒体およびプログラム
JP2007171534A (ja) * 2005-12-21 2007-07-05 Kyocera Mita Corp 電子機器及び音声操作プログラム
JP2014203024A (ja) * 2013-04-09 2014-10-27 コニカミノルタ株式会社 制御装置、画像形成装置、端末装置、制御方法、および制御プログラム
JP2015213256A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像形成装置、情報処理方法及びプログラム
JP2016144086A (ja) * 2015-02-03 2016-08-08 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
JP2017026661A (ja) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 コマンド管理装置および画像形成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973575B2 (en) * 2001-04-05 2005-12-06 International Business Machines Corporation System and method for voice recognition password reset
US20030037004A1 (en) * 2001-08-14 2003-02-20 Chuck Buffum Dialog-based voiceprint security for business transactions
WO2006130958A1 (en) * 2005-06-06 2006-12-14 Edward Tomes Voice authentication system and methods therefor
JP4466572B2 (ja) 2006-01-16 2010-05-26 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置、音声コマンド実行プログラムおよび音声コマンド実行方法
JP2007193138A (ja) 2006-01-19 2007-08-02 Ricoh Co Ltd 画像形成装置
US8396711B2 (en) * 2006-05-01 2013-03-12 Microsoft Corporation Voice authentication system and method
JP6455352B2 (ja) 2015-07-16 2019-01-23 富士ゼロックス株式会社 電力供給装置および画像形成装置
US20170092278A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
KR102483834B1 (ko) * 2018-01-17 2023-01-03 삼성전자주식회사 음성 명령을 이용한 사용자 인증 방법 및 전자 장치
US11031010B2 (en) * 2019-07-03 2021-06-08 Motorola Mobility Llc Speech recognition system providing seclusion for private speech transcription and private data retrieval
US11651059B2 (en) * 2020-01-21 2023-05-16 Amazon Technologies, Inc. User account matching based on a natural language utterance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030392A (ja) * 2002-06-27 2004-01-29 Canon Sales Co Inc 画像処理装置およびサーバ装置および画像処理システムおよび画像処理設定方法およびコンピュータが読取り可能な記憶媒体およびプログラム
JP2007171534A (ja) * 2005-12-21 2007-07-05 Kyocera Mita Corp 電子機器及び音声操作プログラム
JP2014203024A (ja) * 2013-04-09 2014-10-27 コニカミノルタ株式会社 制御装置、画像形成装置、端末装置、制御方法、および制御プログラム
JP2015213256A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像形成装置、情報処理方法及びプログラム
JP2016144086A (ja) * 2015-02-03 2016-08-08 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
JP2017026661A (ja) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 コマンド管理装置および画像形成装置

Also Published As

Publication number Publication date
CN113497855A (zh) 2021-10-12
US20210294882A1 (en) 2021-09-23
JP7409179B2 (ja) 2024-01-09
US11544366B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
JP5344546B2 (ja) 情報処理装置、情報処理装置の制御方法、記憶媒体及びプログラム
US8453259B2 (en) Authentication apparatus, authentication system, authentication method, and authentication program using biometric information for authentication
US8477936B2 (en) Management system including display apparatus and data management apparatus for displaying data on the display apparatus, and data acquisition method
US8713648B2 (en) Information processing apparatus capable of authentication processing with improved user convenience, control program for information processing apparatus, and recording medium having control program for information processing apparatus recorded thereon
US20100100968A1 (en) Image processing apparatus
JP2007018346A (ja) 処理装置およびその制御方法ならびにコンピュータプログラム
US8676747B2 (en) Document management apparatus, document management method, and computer-readable non-transitory storage medium storing document management program
JP5494871B1 (ja) データ送信装置及びプログラム
JP7119558B2 (ja) 画像処理装置、画像形成装置、機密情報管理方法及びプログラム
JP2021149455A (ja) 情報処理装置及びプログラム
US7769801B2 (en) Image processing apparatus program product and management server executing prescribed process to a transmitted image
US20080184352A1 (en) Information processing apparatus, authentication system, authentication method, and authentication program using biometric information for authentication
US20210096800A1 (en) Image reading apparatus
US8213042B2 (en) Image forming apparatus, image forming method carried out by the image forming apparatus, and computer-readable recording medium having image forming program recorded thereon
EP3716040A1 (en) Image forming apparatus and job execution method
US8730007B2 (en) Image processing apparatus, method for controlling the same, and storage medium
JP4846830B2 (ja) 画像形成装置とその情報処理方法及びプログラム
JP2012198826A (ja) プリントシステム、画像形成装置、プルプリント方法およびプルプリントプログラム
CN112449077B (zh) 图像形成装置以及图像形成装置的设定方法
US10649703B2 (en) Print control apparatus, control method of a print control apparatus, and recording medium
US20230185498A1 (en) Processing system, information processing apparatus, storage medium, and image forming apparatus
US11659109B2 (en) Image scanner, image scanning system, and control method of image scanner with user authentication and customization of image scanner settings
JP2023152423A (ja) 印刷装置
JP2021197060A (ja) 情報処理装置及びプログラム
JP4836040B2 (ja) 複合機、認証方法および認証プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7409179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150