JP2020136728A - 画像処理装置、システム、方法およびプログラム - Google Patents

画像処理装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP2020136728A
JP2020136728A JP2019023573A JP2019023573A JP2020136728A JP 2020136728 A JP2020136728 A JP 2020136728A JP 2019023573 A JP2019023573 A JP 2019023573A JP 2019023573 A JP2019023573 A JP 2019023573A JP 2020136728 A JP2020136728 A JP 2020136728A
Authority
JP
Japan
Prior art keywords
image data
information
mfp
image
scanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019023573A
Other languages
English (en)
Other versions
JP2020136728A5 (ja
Inventor
大次郎 宮本
Daijiro Miyamoto
大次郎 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019023573A priority Critical patent/JP2020136728A/ja
Priority to US16/778,017 priority patent/US11412103B2/en
Publication of JP2020136728A publication Critical patent/JP2020136728A/ja
Publication of JP2020136728A5 publication Critical patent/JP2020136728A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00742Detection methods
    • H04N1/00748Detecting edges, e.g. of a stationary sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/203Simultaneous scanning of two or more separate pictures, e.g. two sides of the same sheet
    • H04N1/2036Simultaneous scanning of two or more separate pictures, e.g. two sides of the same sheet of a plurality of pictures corresponding to a single side of a plurality of media
    • H04N1/2038Simultaneous scanning of two or more separate pictures, e.g. two sides of the same sheet of a plurality of pictures corresponding to a single side of a plurality of media lying in the same plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00456Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails for layout preview, e.g. page layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00469Display of information to the user, e.g. menus with enlargement of a selected area of the displayed information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00684Object of the detection
    • H04N1/00721Orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00763Action taken as a result of detection
    • H04N1/00774Adjusting or controlling
    • H04N1/00779Adjusting settings, e.g. mode, feeding rate or type of paper
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00785Correcting the position of a sheet before scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】原稿台上に複数の原稿が載置されたときに、UI画面上に表示中の原稿画像とそれに対応する原稿台上の原稿との対応関係をユーザが確認しやすく表示すること。【解決手段】複数の原稿に対応する画像領域を含むスキャン画像データと、前記スキャン画像データから前記画像領域を切り出した、前記複数の原稿それぞれに対応する複数の原稿画像データとを取得する画像取得手段と、前記複数の原稿画像データのうちの1つを、前記スキャン画像データと共に表示装置に表示させる表示制御手段と、を備え、前記表示制御手段は、前記1つの前記原稿画像データに対応する前記スキャン画像データにおける画像領域を強調して表示させることを特徴とする。【選択図】図14

Description

本発明は、複数の原稿をスキャンして生成した原稿画像データを整理して表示する技術に関する。
従来、スキャナ装置の原稿台上に領収書や、名刺、各種証明書などの原稿を複数枚並べて載置してスキャンし、得られたスキャン画像データから各原稿に対応する画像領域を切り出して原稿画像データを生成するマルチクロップ処理がある。この処理では、原稿台全体の画像データであるスキャン画像データに対して原稿検出処理を行い、検出した原稿毎の画像領域をスキャン画像データから切り出すことで原稿画像データを生成する。
特許文献1には、マルチクロップ処理により切り出した複数の原稿画像データを、ページの順序を決定して1つのファイルに変換する技術が開示されている。特許文献1では、ページの順序は、マルチクロップ処理で検出した原稿領域の位置座標、面積、画像間の類似度などを用いて判定している。そして、クロップされた各原稿画像データを、判定したページの順序にしたがって並べて表示し、ユーザに順序の確認および順序の変更を行わせるためのUI画面の表示を行うようにしている。
特開2018−74180号公報
しかしながら、特許文献1の手法では、複数の原稿画像を判定したページ順序に並べて表示するだけなので、表示された各原稿画像が原稿台上のどこに置いた原稿に対応するのか、UI画面の表示のみから把握するのが難しいという課題がある。
そこで本発明は、原稿台上に複数の原稿が載置されたときに、UI画面上に表示中の原稿画像とそれに対応する原稿台上の原稿との対応関係をユーザが確認しやすく表示することを目的とする。
本発明は、複数の原稿に対応する画像領域を含むスキャン画像データと、前記スキャン画像データから前記画像領域を切り出した、前記複数の原稿それぞれに対応する複数の原稿画像データとを取得する画像取得手段と、前記複数の原稿画像データのうちの1つを、前記スキャン画像データと共に表示装置に表示させる表示制御手段と、を備え、前記表示制御手段は、前記1つの前記原稿画像データに対応する前記スキャン画像データにおける画像領域を強調して表示させることを特徴とする。
本発明によれば、原稿台上に複数の原稿が載置されたときに、UI画面上に表示中の原稿画像とそれに対応する原稿台上の原稿との対応関係をユーザが確認しやすく表示できるようになる。
システム全体図である。 MFPのハードウェア構成図である。 MFP連携サービスおよび経費精算サービスのハードウェア構成図である。 システム全体のソフトウェア構成図である。 各機器間の処理のやり取りを示すシーケンス図である。 MFPのメイン画面を示す図である。 MFPのログイン画面を示す図である。 代理申請対象者情報要求の応答データを示す図である。 MFPの代理申請画面を示す図である。 MFPのスキャン設定画面を示す図である。 スキャン画像解析要求の応答データを示す図である。 処理状況確認要求の応答データを示す図である。 メタデータ取得要求の応答データを示す図である。 MFPのメタデータ設定画面を示す図である。 メタデータ設定要求の要求データを示す図である。 MFPでの費用精算処理を示すフローチャートである。 原稿画像データの表示順を判定する処理を示すフローチャートである。 MFPのメタデータ設定画面を示す図である。 MFPの表示順設定画面を示す図である。
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
<全体構成>
図1は、本実施例に係る画像処理システムの全体構成を示す図である。画像処理システムは、MFP110とMFP連携サービス120および経費精算サービス130を含む。MFP110は、LAN(Local Area Network)経由でインターネット上の各種サービスを提供するサーバーに対して通信可能に接続されている。
MFP(Multifunction Peripheral)110は、スキャナやプリンタといった複数の機能を有する複合機であり、画像処理装置の一例である。
MFP連携サービス120は、MFP110でスキャンした画像ファイルを自サーバー上に保存したり、別のストレージサービス等のファイル保存が可能なサービスに転送したりする機能を持つサービスの一例である。
経費精算サービス130は、会社が経費精算を効率的に行うための機能を提供するサービスである。経費精算サービス130では、スキャンした領収書画像データと領収書の付加情報であるメタデータを保存して管理したり、操作者情報、例えば本人に代わって領収書のスキャンを行う代理申請者を設定したりすることができる。
本実施形態の画像処理システムは、MFP110とMFP連携サービス120からなる構成としているがこれに限定されない。例えば、MFP110がMFP連携サービス120の役割を兼ね備えてもよい。また、MFP連携サービス120はインターネット上ではなくLAN上のサーバーに配置した接続形態であってもよい。
<MFPのハードウェア構成>
図2は、MFP110のハードウェア構成図である。MFP110は、制御部210、操作部220、プリンタ部221、スキャナ部222、モデム223を備える。制御部210は、以下の各部211〜219を有し、MFP110全体の動作を制御する。CPU211は、ROM212に記憶された制御プログラムを読み出して、読取/印刷/通信などMFP110が有する各種機能を実行・制御する。RAM213は、CPU211の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施形態では1つのCPU211が1つのメモリ(RAM213またはHDD214)を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のCPUや複数のRAMまたはHDDを協働させて各処理を実行してもよい。HDD214は、画像データや各種プログラムを記憶する大容量記憶部である。
操作部I/F215は、操作部220と制御部210とを接続するインタフェースである。操作部220には、タッチパネルやキーボードなどが備えられており、ユーザによる操作/入力/指示を受け付ける。プリンタI/F216は、プリンタ部221と制御部210とを接続するインタフェースである。印刷用の画像データはプリンタI/F216を介して制御部210からプリンタ部221へ転送され、印刷用紙などの記録媒体上に印刷される。スキャナI/F217は、スキャナ部222と制御部210とを接続するインタフェースである。スキャナ部222は、不図示の原稿台やADF(Auto Document Feeder)にセットされた原稿を読み取って画像データを生成し、スキャナI/F217を介して制御部210に入力する。MFP110は、スキャナ部222で生成された画像データをプリンタ部221から印刷出力(コピー)する他、ファイル送信またはメール送信することができる。モデムI/F218は、モデム223と制御部210とを接続するインタフェースである。モデム223は、PSTN上のファクシミリ装置との間で画像データをファクシミリ通信することができる。ネットワークI/F219は、制御部210(MFP110)をLANに接続するインタフェースである。MFP110は、ネットワークI/F219を用いてインターネット上の各サービスに画像データや情報を送信したり、各種情報を受信したりすることができる。
<MFP連携サービスおよび経費精算サービスのハードウェア構成>
図3は、本実施形態におけるMFP連携サービス120および経費精算サービス130のハードウェア構成図である。MFP連携サービス120と経費精算サービス130は、同様のハードウェア構成で実現可能であるが、異なる構成とすることもできることは言うまでもない。
MFP連携サービス120と経費精算サービス130は、CPU311、ROM312、RAM313、HDD314及びネットワークI/F315で構成される。CPU311は、ROM312に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。RAM313は、CPU311の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD314は、画像データや各種プログラムを記憶する大容量記憶部である。ネットワークI/F315は、MFP連携サービス120および経費精算サービス130をインターネットに接続するためのインタフェースである。MFP連携サービス120および経費精算サービス130は、ネットワークI/F315を介して他の装置(MFP110など)から処理リスエストを受けて各種情報を送受信することができる。
<画像処理システムのソフトウェア構成>
図4は、本実施例に係る画像処理システムのソフトウェア構成図である。MFP110は、標準機能部410と追加機能部420の2つに大きく分けられる。標準機能部410に含まれる各部はMFP110に標準的に備えられたものであるのに対し、追加機能部420に含まれる各部はMFP110に追加インストールされたアプリケーションである。追加機能部420はJava(登録商標)をベースとしたアプリケーションであり、MFP110への機能追加を容易に実現できる。なお、MFP110には図示しない他の追加アプリケーションがインストールされていても良い。
標準機能部410は、スキャン実行部411および画像データ保存部412を有する。追加機能部420は、表示制御部421、スキャン指示部422、連携サービスリクエスト部423を有する。
表示制御部421は、MFP110の操作部220のタッチパネル機能を有する液晶表示部に、ユーザによる操作入力を受け付けるためのUI画面、例えば図10に示すUI画面を表示する。このようなUI画面を用いて、MFP連携サービス120へアクセスするための認証情報の入力、代理でスキャンする場合の経費精算対象者の選択(操作者情報の選択)、スキャン設定、ならびに、スキャン開始の操作、メタデータ入力などの指示を受け付ける。スキャン指示部422は、UI画面を介して入力されたユーザ指示に応じたスキャン設定と共にスキャン実行部411にスキャン処理を要求する。
スキャン実行部411は、スキャン指示部422からのスキャン設定を含んだスキャン要求を受け取る。スキャン実行部411は、スキャン要求に従い、スキャナI/F217を介してスキャナ部222で、ガラスの原稿台に置かれた原稿を読み取ることで、原稿台全体の画像データであるスキャン画像データを生成する。生成したスキャン画像データは、画像データ保存部412に送られる。スキャン実行部411は、保存したスキャン画像データを一意に示すスキャン画像識別子をスキャン指示部422へ送る。画像データ保存部412は、スキャン実行部411から受け取ったスキャン画像データをHDD214に保存する。
スキャン指示部422は、スキャン実行部411から受け取ったスキャン画像識別子に対応するスキャン画像データを画像データ保存部412から取得する。スキャン指示部422は、取得したスキャン画像データにマルチクロップ処理を行う指示を連携サービスリクエスト部423に要求する。
連携サービスリクエスト部423は、MFP連携サービス120に対して各種処理の要求を行う。例えば、ログイン、代理で経費精算できる代理申請対象者情報(操作者情報)の取得、マルチクロップ処理、メタデータ情報の取得、メタデータの設定などの要求を行う。MFP連携サービス120とのやり取りはRESTやSOAPなどのプロトコルを使用するが、その他の通信手段を用いてもよい。
MFP連携サービス120は、リクエスト制御部431、画像処理部432、経費精算サービスリクエスト部433、データ管理部434、および表示制御部435を有する。
リクエスト制御部431は、外部装置からの要求を受信できる状態で待機している。処理要求を受けると要求に応じて適宜、画像処理部432、経費精算サービスリクエスト部433、データ管理部434に処理を指示する。
画像処理部432は、画像データに対してマルチクロップ処理やOCR、レイアウト解析などの画像解析処理を行って、原稿画像データを取得する画像取得手段である。
経費精算サービスリクエスト部433は、経費精算サービス130に対して各種処理の要求を行う。例えば、代理申請対象者の一覧取得、経費タイプの一覧取得、領収書画像データの登録、領収書画像データに対応するメタデータの設定を行う。
データ管理部434は、MFP連携サービス120で管理するユーザ情報や各種設定データ等を保持する。
表示制御部435は、インターネット経由で接続されたPCやモバイル等の別端末(不図示)上で動作しているウェブブラウザからのリクエストを受けて画面表示に必要な画面構成情報(HTML、CSS等)を返す。ユーザは、ウェブブラウザで表示される画面経由でMFP連携サービス120に登録しているユーザ情報を確認したり、スキャンする際の設定を変更したりする。
経費精算サービス130は、リクエスト制御部441、経費情報管理部442、および表示制御部443を有する。
リクエスト制御部441は、外部装置からの要求を受信できる状態で待機している。処理要求を受けると要求に応じて適宜、経費情報管理部442に処理を指示する。
経費情報管理部442は、経費精算サービス130に登録された経費情報を保持する。
表示制御部443は、インターネット経由で接続されたPCやモバイル等の別端末(不図示)上で動作しているウェブブラウザからのリクエストを受けて画面表示に必要な画面構成情報(HTML、CSS等)を返す。ユーザは、ウェブブラウザで表示される画面経由で経費精算サービス130に登録している経費レポートの情報や領収書画像データを含む経費情報を確認したり、データ入力を行ったりすることができる。
<全体の処理の流れ>
図5は、MFP110で領収書をスキャンして経費情報を経費精算サービスに登録する際のMFP110、MFP連携サービス120、経費精算サービス130間の処理の流れを示すシーケンス図である。ここでは、図5を用いてこれら3者間のやり取りを中心に説明する。
MFP110は、通常の状態では提供する各機能を実施するためのボタンを並べたメイン画面をタッチパネル上に表示する。
図6は、メイン画面600の一例を示す図である。MFP110に経費精算を行うための追加アプリケーション(以降、経費精算アプリと呼ぶ)をインストールすることにより、経費精算を行うためのボタン601がMFP110のメイン画面600に表示される。この経費精算のボタン601を選択すると経費精算アプリが起動して経費精算を行うための画面が表示され、図5のシーケンスで示す処理が開始される。
S501において経費精算アプリは、MFP連携サービス120にアクセスするための認証情報を入力するログイン画面を表示する。図7は、MFP110で表示するログイン画面700の一例を示したものある。ユーザは、ログイン画面700でMFP連携サービス120に登録されているユーザ名とパスワードをボックス702、703にそれぞれ入力し、「ログイン」ボタン701を選択することでログイン要求をすることができる。
ユーザにより「ログイン」ボタン701が押下されると、S502において経費精算アプリは、ログイン要求をMFP連携サービス120に送信する。
S503においてMFP連携サービス120は、ログイン要求に含まれるユーザ名とパスワードが正しいか検証し、正しければアクセストークンをMFP110に返す。以降のMFP110からMFP連携サービス120に対して行う各種リクエストにはこのアクセストークンと共に要求が出され、このアクセストークンにより処理対象のユーザを特定することができる。ユーザ認証の方法は一般的に公知な手法(Basic認証、Digest認証、OAuthを用いた認可等)を用いて行うことができる。
S504においてMFP110は、ログイン処理が完了しアクセストークンを受信すると、代理申請対象者情報の取得要求をMFP連携サービス120に送信する。MFP連携サービス120への要求はREST等のプロトコルを使用することができる。
S505において代理申請対象者情報の取得要求を受けたMFP連携サービス120は、アクセストークンのユーザに紐づいた経費精算サービス130のユーザのアクセストークンを用いて、経費精算サービス130に代理申請対象者情報の取得要求を送信する。MFP連携サービス120は、ユーザがインターネット経由で接続されたPC等で動作しているウェブブラウザを用いて経費精算サービス130のユーザと予め紐づけを行っている。そのため経費精算サービス130は、MFP連携サービス120のユーザから経費精算サービス130のユーザを一意に特定することができる。このようなことから経費精算サービス130は、代理申請対象者情報の取得要求を受信すると、MFP連携サービス120のユーザに対応する経費精算サービス130のユーザに設定された代理申請対象者の情報をMFP連携サービス120に返す。図8は、経費精算サービス130が返す代理申請対象者の情報を定義したフォーマットの一例を示したものである。代理申請対象者の情報としては、MFP連携サービス120のユーザに紐づけられた経費精算サービス130のユーザに設定された代理申請対象者の”UserID”と”UserName”の一覧が取得される。MFP連携サービス120はこの代理申請対象者の情報をMFP110に返す。ここでは、経費精算サービス130から取得したデータをそのままMFP110に送信するように説明するが、適宜データ変換したりフォーマットを変えたりして送信してもよい。
S506においてMFP110は、取得した代理申請対象者の情報を元に代理申請画面を表示する。図9は、MFP110で表示する代理申請画面900の一例を示したものである。ユーザは、ユーザ名リスト902から代理申請対象者を選択して「次へ」ボタン901を選択することで代理申請対象者を決定し、次の設定画面に遷移させることができる。
S507においてMFP110は、スキャン設定画面を表示する。図10は、MFP110で表示するスキャン設定画面1000の一例を示したものである。ユーザは、スキャン設定画面1000で各種スキャンの読み込みに関する設定を行い、原稿台にスキャンする対象の領収書等の原稿を置き、「スキャン開始」ボタン1001を選択することでMFP110にスキャンを実行させることができる。
S508においてMFP110は、スキャンを実行して読み取った原稿台全体の画像データであるスキャン画像データを生成する。
S509においてMFP110は、MFP連携サービス120にスキャン画像データの解析要求を送信する。
S510においてMFP連携サービス120は、スキャン画像データの解析要求を受信すると、MFP連携サービス120の画像処理部432でマルチクロップ処理を開始する。その後、MFP連携サービス120は、マルチクロップ処理の終了を待たずに、スキャン画像データの解析要求を一意に示すリクエストIDをMFP110に返す。図11は、リクエストIDの一例である。
MFP連携サービス120は、スキャン画像データの解析要求受信後、画像処理部でマルチクロップ処理を行って原稿が検出されると、検出したそれぞれの原稿に対して回転処理や文字認識(OCR)処理、原稿種類検知を行う。回転処理は、読み込んだ原稿が所定の基準線に対して斜めになっている場合に原稿の辺を基準線に対して平行または垂直状態になるように直し、原稿内容の検知を行って原稿の文字が正しい向きになる方向に回転させる。その後、文字認識や内容検知を行い、文書中の文字列の抽出とその原稿の種類が何であるかを検知する。
S511からS513においてMFP110は、S510で受け取ったリクエストIDを使用してMFP連携サービス120に定期的(例えば3秒毎など)に画像解析の処理状況の確認を行う。図5では省略するが、S511の処理はMFP連携サービス120の画像処理完了のレスポンスが取得できるまで(S513のタイミングまで)継続して行う。MFP連携サービス120は、S511の処理状況確認の要求を受けると、リクエストIDに対応する処理の状況を確認し、処理中であった場合、図12(a)で示すような内容を返す。処理が終了していた場合、S513において図12(b)で示すような内容を返す。
処理完了時のレスポンスは、ステータスと共にスキャン画像データを解析した結果の情報も含む。”Images”には、マルチクロップ処理で検出した原稿数分の情報が格納される。”ImageID”は、検出した原稿画像データのIDを示し、MFP連携サービス120に対してImageIDを指定して原稿画像データ取得の要求を送信すると、対象の原稿画像データが取得できる。”ContentsType”は、検出した原稿の種類を示す。例えば、「領収書」の場合“Receipt”、「名刺」の場合“BusinessCard”、「免許証」の場合“DriverLicense”などの文字列となる。”ReceiptData”は”ContentsType”が領収書を示す”Receipt”であった場合に含まれ、原稿の中身を解析した結果取得した日付と合計金額の値が格納される。”Points”はスキャン画像データにおけるどの領域に原稿画像データがあったかを示す座標、すなわち原稿画像データの対応するスキャン画像データにおける画像領域の座標が格納される。先頭から左上のX座標、左上のY座標、その点から原稿の中心から時計回りの点のX座標、Y座標の順に格納される。
S514においてMFP110は、処理完了時のレスポンスを受信したことに応答して、検知した情報を用いてS519の処理でメタデータを設定する原稿画像データの順番を決定する。原稿画像データの順番の決定方法の詳細については後述する。
その後、S515においてMFP110は、最初に表示する原稿画像の”ImageID”を指定してMFP連携サービス120に原稿画像データの取得要求を送信する。原稿画像データの取得要求を受信したMFP連携サービス120は、”ImageID”に対応する原稿画像データをMFP110に渡す。このとき返す原稿画像データは、回転処理が行われて正しい向きになった原稿画像データを渡す。
次に、S516においてMFP110は、MFP連携サービス120に対してメタデータの項目情報の取得要求を送信する。
S517においてMFP連携サービス120は、MFP110からのメタデータ取得要求を受信すると、経費精算サービス130から対象ユーザのメタデータ項目情報を取得する。
図13は、MFP連携サービス120および経費精算サービス130がメタデータ項目情報取得のレスポンスとして返す情報の一例である。”ExpenseTypes”は、経費精算サービス130に登録する領収書が何のために使用したものかの定義値の一覧を示す。それぞれの種類には、”ID”と”Name”がある。
図13に示す実施例では、MFP連携サービス120が経費精算サービス130から取得した情報をそのままMFP110に送信する形式で記載されている。ただし、これに限らず複数のメタデータ項目情報が必要な場合は、それぞれのメタデータ項目情報に対して経費精算サービス130に要求して取得し、MFP110に返すときはそれぞれの情報を結合して1つにして返すようにしてもよい。また、MFP連携サービス120からMFP110に返すメタデータ項目情報は、経費精算サービス130が送信した情報からMFP110が必要な項目情報のみに間引いた情報としてもよい。
S518においてMFP110は、S513で取得した各原稿画像データやS514で取得した表示順序を元に検知した各原稿画像データのメタデータを設定するため、図14に示すようなメタデータ設定画面1400を表示する。メタデータ設定画面1400の詳細については後述する。メタデータ設定画面1400は、スキャンして検知した原稿の数だけ表示され、ユーザは全ての原稿画像データに対してメタデータを設定することができる。
S519においてMFP110は、ユーザが「送信」ボタン1401を押したことを検知すると、メタデータ設定画面1400で設定されたメタデータ情報と共に、メタデータ設定要求をMFP連携サービス120に送信する。図15に、メタデータ設定時に送信する設定データの一例を示す。MFP110は、メタデータ設定画面1400で設定された内容に対応する情報をそれぞれ付加する。なお、図15に示す例では1つの原稿に対応するメタデータのみとしているため、原稿の数だけメタデータ設定要求を送信する必要があるが、複数の原稿のメタデータをまとめて送信できるようにしてもよい。
S520においてMFP連携サービス120は、メタデータ設定要求を受信したことに応答して、受け取ったメタデータの情報を元に経費精算サービス130にメタデータ設定要求を送信する。メタデータ設定要求を受け取った経費精算サービス130は、自分自身が管理する経費情報に受け取ったメタデータ情報を設定すると、メタデータの設定が完了したことを示す情報をMFP連携サービス120に返す。
MFP連携サービス120は、経費精算サービス130からメタデータの設定が完了したことを示す情報を受信すると、MFP110にメタデータの設定完了を返す。
MFP110は、MFP連携サービス120からのメタデータの設定が完了した通知を受けて一連の処理を終了する。
<MFPの処理詳細>
図16は、経費精算処理を行うためのMFP110の処理の詳細を示すフローチャートである。この一連の処理は、制御部210において、CPU211がHDD214に記憶された制御プログラムを実行することにより実現される。以下、詳しく説明する。
この処理はMFP110のメイン画面600(図6)で「経費精算」ボタン601が押されたことを検知することで開始される。
S1601において表示制御部421は、ログイン画面700を表示する。ユーザは、ログインするためにログイン画面700でユーザ名をテキスト入力エリア702に入力し、パスワードをテキスト入力エリア703に入力し、「ログイン」ボタン701を選択する必要がある。表示制御部421は、ユーザによりユーザ名およびパスワードを含むログイン情報が入力されて「ログイン」ボタン701が押されたことを検知すると、連携サービスリクエスト部423にログイン要求を行う。
S1602において連携サービスリクエスト部423は、MFP連携サービス120のリクエスト制御部431に対してログイン要求を送信する。MFP連携サービス120のリクエスト制御部431は、データ管理部434にアクセスしてログイン情報が正しいか否かを確認し、正しければアクセストークンをMFP110の連携サービスリクエスト部423に返し、S1603に移行する。
S1603において連携サービスリクエスト部423は、代理申請対象者情報の取得をアクセストークンと共にMFP連携サービス120のリクエスト制御部431に送信する。MFP連携サービス120のリクエスト制御部431は、代理申請対象者情報取得を受けると経費精算サービスリクエスト部433に代理申請情報の取得を要求する。そして、経費精算サービスリクエスト部433はアクセストークンに紐づいた経費精算サービス130のユーザ情報を取得し、対象ユーザの代理申請対象者情報の取得を経費精算サービス130のリクエスト制御部441に送信する。代理申請対象者情報の取得要求を受けた経費精算サービス130のリクエスト制御部441は、対象ユーザの代理申請対象者情報を経費情報管理部442から取得し、代理申請対象者情報を経費精算サービスリクエスト部433に返す。代理申請対象者情報を受け取った経費精算サービスリクエスト部433は、リクエスト制御部431を通してMFP110の連携サービスリクエスト部423に代理申請対象者情報を返す。
S1604において代理申請対象者情報を受け取ったMFP110の連携サービスリクエスト部423は、表示制御部421に代理申請対象者情報を渡し表示制御部421は、代理申請画面900を表示する。ステップS1603の処理において取得した代理申請対象者情報で代理申請対象者がいなかった場合はステップS1604の処理をスキップしてステップS1605の処理を実行するようにしてもよい。代理申請画面900では、ユーザは代理申請対象者を決定するために、代理申請対象者リスト902から使用する代理申請対象者を選択し、「次へ」ボタン901を選択する必要がある。初期状態では代理申請対象者リスト902には本人を示す値に設定しておき、変更しなかった場合は本人としてスキャンした原稿の原稿画像データを経費精算サービス130に登録する処理を行うようにしてもよい。
S1605において表示制御部421は、「次へ」ボタン901が押されると、スキャン設定画面1000を表示する。図10は、スキャン設定画面1000の一例を示す図である。「カラー設定」ボタン1002は、原稿をスキャンする際のカラーまたはモノクロを設定するためのボタンである。「解像度設定」ボタン1003は、原稿をスキャンする際の解像度を設定するためのボタンである。これら設定ボタン1002〜1003を用いた設定時には、MFP110においてサポートされている範囲で設定可能な候補(選択肢)が表示され、ユーザは表示された候補から望むものを選択することができる。なお、上述の設定ボタンは一例であって、これら全ての設定項目が存在しなくても良いし、これら以外の設定項目が存在してもよい。また、解像度やカラー設定などの設定値を経費精算サービス130の要求する設定値のみに限定したりしてもよい。ユーザは、このようなスキャン設定画面1000を介してスキャン処理についての詳細な設定を行なう。「スキャン開始」ボタン1001は、原稿台等にセットされた原稿に対するスキャン処理の開始を指示するためのボタンである。
S1606において表示制御部421は、ユーザにより「スキャン開始」ボタン1001が押されたことを検知すると、スキャン指示部422にスキャン指示を行う。スキャン指示部422は、スキャン実行部411にスキャンを指示し、原稿をスキャンする。スキャンして生成されたスキャン画像データは、画像データ保存部412に保存され、対応するスキャン画像データの識別子がスキャン指示部422に通知される。ステップS1606では、スキャン中を示す画面(不図示)を表示するようにしてもよい。
次にS1607において連携サービスリクエスト部423は、スキャン指示部422経由で取得したスキャン画像データをスキャン画像解析要求と共にMFP連携サービス120のリクエスト制御部431に送信する。リクエスト制御部431は、スキャン画像解析要求からスキャン画像データを取り出し、画像処理部432に渡してマルチクロップ処理を実行する。画像処理部432のマルチクロップ処理が完了すると、リクエスト制御部431は、続けて画像処理部432に画像の回転処理、原稿種類の検知処理、文字認識を行わせる。リクエスト制御部431は、マルチクロップ処理を行った時点で処理の完了を待たずに即座にMFP110の連携サービスリクエスト部423にリクエストIDを返す。リクエストIDはMFP連携サービス120内で処理するスキャン画像解析要求を一意に識別できる値である。
S1608において連携サービスリクエスト部423は、リクエストIDを取得すると、リクエストIDと共に処理ステータスの取得要求をMFP連携サービス120のリクエスト制御部431に送信する。リクエスト制御部431は、処理ステータスの取得要求と共に受信したリクエストIDの画像処理の状況を画像処理部432に問い合わせる。画像処理部432は、リクエストIDの処理が処理中であれば処理中を示す情報を返し、処理が完了していれば完了を示す情報とマルチクロップの処理結果および各種画像の解析結果をリクエスト制御部431に返す。リクエスト制御部431は、画像処理部432で処理した情報から処理ステータスの取得要求のレスポンスデータを作成し、MFP110の連携サービスリクエスト部423に返す。
ステップS1609において連携サービスリクエスト部423は、取得した処理ステータスが処理中を示す値か否かを判定する。連携サービスリクエスト部423は、処理ステータスが処理中を示す値であった場合、数秒程度待った後ステップS1608に戻り、再度処理ステータスの確認要求をMFP110の連携サービスリクエスト部423に送信する処理を繰り返す。連携サービスリクエスト部423は、処理ステータスが完了を示す値であった場合、処理ステータスの確認要求のレスポンスに含まれる解析情報を取得する。
ステップS1610において連携サービスリクエスト部423は、メタデータ項目情報の取得要求をアクセストークンと共にMFP連携サービス120のリクエスト制御部431に送信する。リクエスト制御部431は、メタデータ項目情報取得要求を受けると経費精算サービスリクエスト部433にメタデータ項目情報の取得を要求する。そして、経費精算サービスリクエスト部433は、アクセストークンに紐づいた経費精算サービス130のユーザ情報を取得し、対象ユーザのメタデータ項目情報の取得要求を経費精算サービス130のリクエスト制御部441に送信する。要求を受けたリクエスト制御部441は、メタデータ項目情報を経費情報管理部442から取得し、MFP連携サービス120の経費精算サービスリクエスト部433にメタデータ項目情報を返す。メタデータ項目情報を受け取った経費精算サービスリクエスト部433は、リクエスト制御部431を通してMFP110の連携サービスリクエスト部423にメタデータ項目情報を返す。
ステップS1611においてMFP110の表示制御部421は、ステップS1608で取得したレスポンスデータから各原稿画像データの表示順番を判定する。図17は、ステップS1611の複数の原稿画像データの表示順番を判定するためのMFP110の処理の詳細を示すフローチャートである。この一連の処理は、制御部210において、CPU211がHDD214に記憶された制御プログラムを実行することにより実現される。以下、詳しく説明する。
ステップS1701においてMFP110の表示制御部421は、ステップS1604で代理申請対象者が選択されたか否かを判定する。本人以外が申請を代理で行う場合、ステップS1703に進み、スキャン画像データにおける対応する位置情報である画像領域の右上隅のX座標が大きい原稿画像データから順番に表示するように並び替える。この座標を含む位置情報は、ステップS1608で取得したレスポンスデータ内から取得できる。図12(b)のレスポンスデータの場合、”Points”の3番目の値が右上隅のX座標になる。図12(b)の場合、座標順に並べると、ImageIDが”image0001”、”image0002”、”image0003”の順となる。右上隅のX座標が大きい順に並べるのは、原稿台は左上に寄せて原稿を載せるようになっており、複数枚の原稿がある場合には左側から置くことが多いと考えられるからである。原稿台に領収書等を置いた場合、スキャンする面を下向きにするため左上に置いた原稿に対応する画像領域はスキャン画像データでは右上に位置する。そのため、右上隅の座標を基準にX座標が大きい順に表示する。また、本人以外が代理で行っている場合、原稿の内容までは把握していない可能性が高いため、代理申請者が配置した原稿の位置関係に基づいて表示した方がより分かり易い順番になる可能性が高い。なお、基準とする座標や軸方向はこれ以外のものを使用してもよい。
ステップS1701で本人と判定した場合、ステップS1702において表示制御部421は、原稿画像データの中に領収書に関するものが含まれているか否かを判定する。領収書の原稿画像データか否かはステップS1608で取得したレスポンスデータ内から取得できる。図12(b)のレスポンスデータの場合、”ContentsType”が”Receipt”となっているものが領収書と認識した原稿画像データであることを示す。
原稿画像データに対応する原稿が領収書であると判定した場合、ステップS1704において表示制御部421は、日付の古いものから順番に表示するように並び替える。この日付を含む日付情報はステップS1608で取得したレスポンスデータ内から取得できる。図12(b)のレスポンスデータの場合、”ReceiptData”内の”Date”の値が日付のデータである。この情報は、MFP連携サービス120の画像処理部432で原稿画像データの中から認識した日付文字を元に得られる。数値は最初の4桁が年を示し、その後の2桁が月、最後の2桁が日を示す。図12(b)のレスポンスデータの場合、日付の古い順に並べるとImageIDが”image0002”、”image0003”、”image0001”の順となる。同じ日付が複数あった場合は、同じ日付の中で座標順に並び替えてもよい。また、日時情報なども追加で取得できる場合はその情報を使用して並び替えてもよい。原稿画像データには、領収書でない原稿画像データ、または領収書であっても日付が無い原稿画像データや、文字認識に失敗してうまく日付が取れないものも含まれる場合がある。そのような場合には、日付が取れたものをまず並び替えた後に残ったそれらの原稿画像データを座標順に並び替えて表示してもよい。領収書の原稿画像データが含まれていなかった場合は、ステップS1703において表示制御部421は、上述のようにスキャン画像データにおける対応する画像領域の右上隅のX座標順に並び替える。
図16に戻り、ステップS1612において表示制御部421は、メタデータ設定画面1400を表示する。図14はメタデータ設定画面1400の一例を示す図である。「送信」ボタン1401は、1404から1407で設定したメタデータをMFP連携サービス120に送信する処理を行うボタンである。全ての原稿画像データに対してメタデータの設定を行うまでは無効状態としてもよい。「次へ」ボタン1402は、次の原稿画像データのメタデータ設定画面を表示させるボタンであり、最後の原稿画像データが表示されている時は非表示状態としてもよい。「戻る」ボタン1403は、1つ前の原稿画像データのメタデータ設定画面を表示するボタンであり、最初の原稿画像データが表示されているときは非表示状態としてもよい。
経費タイプ選択リスト1404は、原稿画像表示エリア1410に表示された設定対象の原稿画像データの領収書の経費タイプを選択するためのリストである。リストに表示する経費タイプの一覧はステップS1610で取得した情報を列挙する。図13の例の場合、”Name”の一覧が表示される。取引日テキスト入力エリア1405は、設定対象の原稿画像データの領収書の取引日を入力するための入力エリアである。ステップS1608で取得したレスポンスデータの表示中の原稿画像データの”ReceiptData”の”Date”を初期状態で入力した状態にする。日付がなかった場合は、MFP110に設定された現在の日付を入力した状態にする。取引日テキスト入力エリア1405を選択すると、画面上にキーボードが表示(不図示)され任意の日付を入力することができる。金額テキスト入力エリア1406は、設定対象の原稿画像データの領収書の合計金額を入力するための入力エリアである。ステップS1608で取得したレスポンスデータの表示中の原稿画像データの”ReceiptData”の”Amount”を初期状態で入力した状態にする。金額テキスト入力エリア1406を選択すると、画面上にキーボードが表示(不図示)され任意の数値を入力することができる。場所テキスト入力エリア1407は、設定対象の原稿画像データの領収書が発行された場所を入力するための入力エリアである。場所テキスト入力エリア1407を選択すると、画面上にキーボードが表示(不図示)され任意の文字列を入力することができる。ステップS1610で取得するメタデータ情報の中に場所の一覧情報を追加で取得してその一覧を表示するようにしてもよい。
スキャン画像表示エリア1408はスキャンした全体の画像を縮小して表示したものである。スキャン画像データをそのまま表示すると、原稿を置いた操作者から見て左側に置いたものが右側に表示されてしまうため、左右の位置関係を反転したものを表示する。しかし、スキャン画像データを単に左右反転して表示すると原稿の中身も反転して表示されるため、例えば、さらに原稿に対応する画像領域をそれぞれその領域内で左右反転させて表示させてもよい。この処理により、スキャン画像データにおける原稿に対応する画像領域間の位置関係は左右反転させながら、原稿に対応する各画像領域には左右反転されていない画像を表示させることができる。
また本実施形態では、スキャン画像データの表示画像の上に原稿に対応する場所に何番目に表示するかを示す番号を重ねて表示する。そして、現在原稿画像表示エリア1410に表示中の原稿画像データに対応する画像領域は強調して表示する。それ以外にも、既にメタデータを設定した原稿画像データに対応する画像領域については処理済みを示す表示に変更することができる。また、スキャン画像表示エリア1408上の原稿画像を選択することでその原稿画像を原稿画像表示エリア1410に表示するようにしたりすることもできる。
表示順番選択リスト1409は、マルチクロップ処理で生成した複数の原稿画像データをどの順番で表示させるかを選択するためのリストである。日付順、配置順など様々な順番を切り替えることができる。順番変更を行うと、変更後の順番で先頭の原稿画像データを表示し、スキャン画像表示エリア1408に表示している順番も変更後の順番に表示を切り替える。例えば、図14の表示状態のときに表示順番選択リスト1409で配置順(左から)を選択すると、図18ように配置順で1番最初に表示される原稿画像データが原稿画像表示エリア1410に表示された状態となる。なお、途中までメタデータを設定した後に順番を変更した場合に処理済みの原稿画像データが先頭になる場合はその原稿画像データをスキップして未処理のうち一番順番が早いものを表示するようにしてもよい。
ステップS1613において表示制御部421は、メタデータ設定画面1400で選択されたボタンを判断する。
表示制御部421がステップS1613で「次へ」ボタン1402が押されたことを検知すると、ステップS1614に移行する。そして表示制御部421は、表示中の原稿画像データの次に表示する原稿画像データを対象としてステップS1612に戻り、その原稿画像データを対象としたメタデータ設定画面を表示する。
表示制御部421がステップS1613で「戻る」ボタン1403が押されたことを検知すると、ステップS1615に移行する。そして表示制御部421は、表示中の原稿画像データの1つ前の原稿画像データを対象としてステップS1612に戻り、その原稿画像データを対象としたメタデータ設定画面を表示する。
表示制御部421がステップS1613で「送信ボタン」が押されたことを検知すると、ステップS1616に移行する。そして連携サービスリクエスト部423は、メタデータ設定画面で設定した内容を対応する各原稿画像データに対して設定するメタデータ設定要求をリクエスト制御部431に送信する。図15にMFP連携サービス120に送信するメタデータ設定のリクエストの一例を示す。リクエストには、メタデータ設定画面1400で設定した、経費タイプ(ExpenseTypeID)、取引日(TransactionDate)、金額(Amount)、場所(Location)を示す情報が含まれる。”ImageID”はリクエストするURL自体又はURLパラメータで指定する。
リクエスト制御部431は、メタデータ設定要求を受けると経費精算サービスリクエスト部433にメタデータ設定を要求する。そして、経費精算サービスリクエスト部433はアクセストークンに紐づいた経費精算サービス130のユーザ情報を取得し、対象ユーザのメタデータ設定要求を経費精算サービス130のリクエスト制御部441に送信する。要求を受けた経費精算サービス130のリクエスト制御部441は、経費情報管理部442に対して要求に含まれる”ImageID”の原稿画像データに対して領収書のメタデータ情報を設定する。情報を受け取った経費精算サービスリクエスト部433は、リクエスト制御部431を通してMFP110の連携サービスリクエスト部423に設定が完了したことを示す情報を返す。連携サービスリクエスト部423は、MFP連携サービス120から完了を受け取ると、処理を終了する。
<そのほかのサービスへの適用>
前述した説明例では、経費精算サービス130へスキャンした領収書の原稿画像データとその原稿画像データに対応するメタデータを設定する例を用いたがこれ以外のサービスと連携するケースにおいても適応することができる。例えば、名刺管理サービスなどに適応する場合も本実施例で提示したメタデータ設定画面と同様の構成をとることができる。名刺の場合は同じ会社に所属する人の名刺毎に順番に表示したほうが操作しやすいと考えられる。そのため、S512で説明したMFP連携サービス120の原稿解析処理において原稿画像データの類似度検索や含まれるコンテンツのレイアウト情報などに基づいて、原稿画像データの表示順を決定することもできる。
<複数枚スキャン時の動作>
前述した説明例では、1回スキャンした時の動作を用いて説明した。しかし、複数回スキャンした場合やADF(Auto Document Feeder)等を用いてA4等の定型サイズの領収書を1枚ずつ複数枚連続でスキャンしてもよい。例えば、複数回原稿台に複数枚の領収書を並べてスキャンする場合は、スキャン設定画面1000(図10)で複数回読み取ることを設定する項目を設ける。そして、スキャンが終わった後に複数枚のスキャン画像データに対してステップS1607のスキャン画像解析要求を行うようにすることもできる。その場合、複数のスキャン画像データから解析された領収書の原稿画像データ全てを並び替えて、並び替えた順番で表示するようにしてもよい。その時、メタデータ設定画面1400のスキャン画像表示エリア1408には、メタデータを設定している原稿画像データに対応する画像領域を含むスキャン画像データを表示する。それに加え、表示しているスキャン画像データが何枚目のスキャン画像データであったかを合わせて表示することでユーザに何枚目のどこに置いた領収書かを分かり易く表示することができる。
1枚ずつADFからスキャンした場合も同様に、全ての原稿のスキャンが終わった後に全てのスキャン画像データに対して解析を行う。このとき、マルチクロップ処理は必要ないのでADFから読み込んだ場合はマルチクロップをしないようなパラメータをリクエストに付加してMFP連携サービス120にマルチクロップ処理不要を通知するようにしてもよい。ADFから読み込んだ場合、スキャン画像表示エリア1408には表示する必要なくなるので、代わりにメタデータ設定中の原稿画像データとその原稿画像データの前後にスキャンされて生成された原稿画像データを並べて表示してもよい。さらに何枚目にスキャンされた原稿に対応するものかを表示するようにしてもよい。
<表示順番の設定>
初期状態の表示順番は、表示順設定画面を別途設けて変更できるようにしてもよい。表示順設定画面は、例えばメタデータ設定画面のどこかに表示順設定画面を表示するためのアイコンボタンなどを設けることで設定できるようにすることができる。
図19は、表示順設定画面1900の一例を示す図である。「OK」ボタン1901は、表示順設定画面1900で設定した内容を保存して設定画面表示前の画面に戻るボタンである。メタデータ設定画面1400から表示順序設定画面1900に遷移するようにした場合、メタデータ設定画面1400に戻るときに設定を反映して表示順を即座に変更してもよいし、次のスキャンから変更した設定を使用するようにしてもよい。
順番決定情報選択リスト1902は、表示順を決める際に表示順を決定する順番決定情報を選択するためのリストである。順番決定情報としては、例えば「操作者情報」、「原稿の種類」がある。「操作者情報」を選択した場合、操作者情報を使用して順番を決定する。「原稿の種類」を選択した場合、原稿の種類情報を使用して順番を決定する。順番決定情報選択リスト1902で「操作者情報」を選択した場合、1903、1904で設定した内容を用いて表示順を決定する。操作者が本人である場合は1903のリストに設定した方法で順番を決定し、本人以外のものが代理申請処理をしている場合は1904のリストに設定した方法で順番を決定する。
図19の状態では、本人の場合は原稿の種類を用いて順番を決定し、代理申請の場合は原稿の配置で左側に置いたものから表示するように設定されている。順番決定情報選択リスト1902で「原稿の種類」を選択した場合や、1903、1904で「原稿の種類」を選択した場合は1905のリストで設定した内容を用いて表示順を決定する。図19の1905の例では、原稿の種類が領収書であった場合に日付順に古いものから順番に表示する設定となる。
<機器毎の機能分担>
前述した説明では、MFP110とMFP連携サービス120と経費精算サービス130が連携して機能を実現する形態で記載したが、これ以外の構成をとることもできる。例えば、MFP連携サービス120の機能をMFP110が持ち、MFP110と経費精算サービス130のみで構成するようにすることもできる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
MFP 110
MFP連携サービス 120
経費精算サービス 130

Claims (17)

  1. 複数の原稿に対応する画像領域を含むスキャン画像データと、前記スキャン画像データから前記画像領域を切り出した、前記複数の原稿それぞれに対応する複数の原稿画像データとを取得する画像取得手段と、
    前記複数の原稿画像データのうちの1つの原稿画像データを、前記スキャン画像データと共に表示装置に表示させる表示制御手段と、
    を備え、
    前記表示制御手段は、前記1つの原稿画像データに対応する前記スキャン画像データにおける画像領域を強調して表示させる
    ことを特徴とする画像処理装置。
  2. 前記スキャン画像データから前記画像領域を切り出して前記複数の原稿それぞれに対応する複数の原稿画像データを生成する画像処理手段をさらに備えたことを特徴とする請求項1に記載の画像処理装置。
  3. 前記スキャン画像データと共に表示装置に表示させる前記原稿画像データの順番を決定する順番決定手段をさらに備えたことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記表示制御手段は、前記スキャン画像データにおける前記画像領域それぞれに対して、前記順番を示す情報を表示することを特徴とする請求項3に記載の画像処理装置。
  5. 前記順番決定手段は、前記原稿画像データに対応する前記原稿の種類情報を順番決定情報として用いて前記順番を決定することを特徴とする請求項3又は4に記載の画像処理装置。
  6. 前記順番決定手段は、前記原稿画像データに対応する前記画像領域の前記スキャン画像データにおける位置情報を順番決定情報として用いて前記順番を決定することを特徴とする請求項3又は4に記載の画像処理装置。
  7. 前記順番決定手段は、前記原稿画像データに対応する前記原稿に記載の日付情報を順番決定情報として用いて前記順番を決定することを特徴とする請求項3又は4に記載の画像処理装置。
  8. 操作者情報を取得する情報取得手段をさらに備え、
    前記順番決定手段は、前記操作者情報に基づき前記順番決定情報を決定することを特徴とする請求項5乃至7のいずれか1項に記載の画像処理装置。
  9. 各前記原稿画像データの解析情報を生成する画像解析手段をさらに備え、
    前記順番決定手段は、前記順番決定情報を前記解析情報から取得する
    ことを特徴とする請求項5乃至8のいずれか1項に記載の画像処理装置。
  10. 前記順番決定手段が決定した前記順番決定情報を操作者からの入力に基づき変更する順番変更手段をさらに備えることを特徴とする請求項9に記載の画像処理装置。
  11. 前記表示制御手段は、前記スキャン画像データを左右反転して表示させることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記表示装置に表示されている前記原稿画像データに関するメタデータを設定するメタデータ設定手段をさらに備えたことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  13. 前記表示制御手段は、前記スキャン画像データにおける前記画像領域の表示を、対応する前記原稿画像データへの前記メタデータの設定完了の後に変えることを特徴とする請求項12に記載の画像処理装置。
  14. 前記メタデータ設定手段は、前記原稿画像データに対応する前記原稿の種類情報に基づき決定された所定の項目に関する前記メタデータを設定することを特徴とする請求項12又は13に記載の画像処理装置。
  15. 複数の原稿に対応する画像領域を含むスキャン画像データを生成するスキャン手段と、
    前記スキャン画像データから前記画像領域を切り出して前記複数の原稿それぞれに対応する複数の原稿画像データを生成する画像処理手段と、
    前記複数の原稿画像データのうちの1つの原稿画像データを、前記スキャン画像データと共に表示装置に表示させる表示制御手段と、
    を備え、
    前記表示制御手段は、前記1つの原稿画像データに対応する前記スキャン画像データにおける画像領域を強調して表示させる
    ことを特徴とする画像処理システム。
  16. 複数の原稿に対応する画像領域を含むスキャン画像データと、前記スキャン画像データから前記画像領域を切り出した、前記複数の原稿それぞれに対応する複数の原稿画像データとを取得する取得ステップと、
    前記複数の原稿画像データのうちの1つの原稿画像データを、前記スキャン画像データと共に表示装置に表示させる表示ステップと、
    を有し、
    前記表示ステップは、前記1つの原稿画像データに対応する前記スキャン画像データにおける画像領域を強調して表示させる
    ことを特徴とする画像処理方法。
  17. 請求項1乃至14のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2019023573A 2019-02-13 2019-02-13 画像処理装置、システム、方法およびプログラム Pending JP2020136728A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019023573A JP2020136728A (ja) 2019-02-13 2019-02-13 画像処理装置、システム、方法およびプログラム
US16/778,017 US11412103B2 (en) 2019-02-13 2020-01-31 Image processing apparatus for displaying an analysis result of a multi-cropping scan processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019023573A JP2020136728A (ja) 2019-02-13 2019-02-13 画像処理装置、システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020136728A true JP2020136728A (ja) 2020-08-31
JP2020136728A5 JP2020136728A5 (ja) 2022-02-22

Family

ID=71945555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023573A Pending JP2020136728A (ja) 2019-02-13 2019-02-13 画像処理装置、システム、方法およびプログラム

Country Status (2)

Country Link
US (1) US11412103B2 (ja)
JP (1) JP2020136728A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7476557B2 (ja) * 2020-02-14 2024-05-01 株式会社リコー 機器、処理実行システム、処理実行方法、プログラム
JP7435265B2 (ja) * 2020-05-29 2024-02-21 ブラザー工業株式会社 プログラム及び情報処理装置
JP2023069494A (ja) * 2021-11-05 2023-05-18 コニカミノルタ株式会社 画像処理装置、連携処理実行方法および連携処理実行プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012492A (ja) * 2003-06-19 2005-01-13 Hitachi Ltd 画像処理システム
JP2005302011A (ja) * 2004-03-24 2005-10-27 Microsoft Corp スキャン・ドキュメントから電子フォームに取り込むための方法および装置
JP2006121375A (ja) * 2004-10-21 2006-05-11 Konica Minolta Photo Imaging Inc 受付端末及び制御プログラム並びに注文処理方法
JP2009266157A (ja) * 2008-04-30 2009-11-12 Fujifilm Corp 画像出力装置及び画像出力方法
JP2010206481A (ja) * 2009-03-03 2010-09-16 Brother Ind Ltd 画像合成出力プログラム、画像合成出力装置及び画像合成出力システム
JP2010251875A (ja) * 2009-04-13 2010-11-04 Konica Minolta Business Technologies Inc 画像処理装置及び原稿読取支援方法
JP2011138325A (ja) * 2009-12-28 2011-07-14 Canon Software Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2011248592A (ja) * 2010-05-26 2011-12-08 Fujitsu Ltd 情報入力支援プログラム及び情報入力支援装置
JP2012023462A (ja) * 2010-07-12 2012-02-02 Canon Inc 画像読取方法、画像読取システム、及び画像読取装置
JP2018074180A (ja) * 2016-10-24 2018-05-10 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
JP6494504B2 (ja) * 2015-12-25 2019-04-03 キヤノン株式会社 情報処理装置、制御方法およびプログラム
JP6921522B2 (ja) * 2016-12-15 2021-08-18 キヤノン株式会社 画像処理装置及びその制御方法並びにプログラム
JP6880763B2 (ja) * 2017-01-19 2021-06-02 株式会社リコー 情報解析システム、情報解析方法
JP7017060B2 (ja) * 2017-10-24 2022-02-08 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012492A (ja) * 2003-06-19 2005-01-13 Hitachi Ltd 画像処理システム
JP2005302011A (ja) * 2004-03-24 2005-10-27 Microsoft Corp スキャン・ドキュメントから電子フォームに取り込むための方法および装置
JP2006121375A (ja) * 2004-10-21 2006-05-11 Konica Minolta Photo Imaging Inc 受付端末及び制御プログラム並びに注文処理方法
JP2009266157A (ja) * 2008-04-30 2009-11-12 Fujifilm Corp 画像出力装置及び画像出力方法
JP2010206481A (ja) * 2009-03-03 2010-09-16 Brother Ind Ltd 画像合成出力プログラム、画像合成出力装置及び画像合成出力システム
JP2010251875A (ja) * 2009-04-13 2010-11-04 Konica Minolta Business Technologies Inc 画像処理装置及び原稿読取支援方法
JP2011138325A (ja) * 2009-12-28 2011-07-14 Canon Software Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2011248592A (ja) * 2010-05-26 2011-12-08 Fujitsu Ltd 情報入力支援プログラム及び情報入力支援装置
JP2012023462A (ja) * 2010-07-12 2012-02-02 Canon Inc 画像読取方法、画像読取システム、及び画像読取装置
JP2018074180A (ja) * 2016-10-24 2018-05-10 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
US20200259971A1 (en) 2020-08-13
US11412103B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
US10291793B2 (en) Server apparatus providing portable information terminal and image forming apparatus with cloud image processing service
CN113225446B (zh) 使文档计算机化的图像处理***及其控制方法和存储介质
JP7234024B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2004129248A (ja) 画像形成装置およびスキャンデータ処理方法
JP2023157964A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020136728A (ja) 画像処理装置、システム、方法およびプログラム
US12028490B2 (en) Server for providing a setting screen with previously used settings to a client apparatus for image transmission
JP2016115975A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021103846A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020198546A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013015905A (ja) ワークフローシステムおよびサーバ、その制御方法
JP2020182021A (ja) 情報処理装置、情報処理方法及びプログラム
JP2020178280A (ja) スキャン画像にプロパティを設定するための画像処理装置、その制御方法及びプログラム
JP2021164132A (ja) 画像処理システム、及びプログラム
JP2020127076A (ja) 情報処理装置、情報処理方法及びプログラム
US11991332B2 (en) Image processing apparatus including facsimile and communication functions, method for controlling the same, and storage medium
JP6995959B2 (ja) 画像処理装置及び画像処理方法
JP7387282B2 (ja) スキャン画像のプレビュー表示を行なう画像処理装置、その制御方法及びプログラム
JP2007011910A (ja) アンケート装置及びプログラム
JP2023071227A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2021027520A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024062604A (ja) 画像処理システム、画像処理システムの制御方法、及びプログラム
JP2024040612A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2023167871A (ja) 画像処理装置、情報処理装置、画像処理システム、画像処理方法、情報処理方法、およびプログラム
JP2024072113A (ja) 情報処理装置、情報処理装置の処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328