JP5886265B2 - 携帯端末装置、プログラム、及び記録媒体 - Google Patents

携帯端末装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP5886265B2
JP5886265B2 JP2013246526A JP2013246526A JP5886265B2 JP 5886265 B2 JP5886265 B2 JP 5886265B2 JP 2013246526 A JP2013246526 A JP 2013246526A JP 2013246526 A JP2013246526 A JP 2013246526A JP 5886265 B2 JP5886265 B2 JP 5886265B2
Authority
JP
Japan
Prior art keywords
image
unit
captured image
captured
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013246526A
Other languages
English (en)
Other versions
JP2015106742A (ja
Inventor
今泉 大作
大作 今泉
安達 靖
靖 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013246526A priority Critical patent/JP5886265B2/ja
Priority to US14/550,170 priority patent/US9525868B2/en
Priority to CN201711235302.7A priority patent/CN107948455A/zh
Priority to CN201410699638.9A priority patent/CN104683634B/zh
Publication of JP2015106742A publication Critical patent/JP2015106742A/ja
Application granted granted Critical
Publication of JP5886265B2 publication Critical patent/JP5886265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)

Description

本発明は、画像が高圧縮PDFファイルへの変換に適しているか否かを判定する判定装置、携帯端末装置、プログラム及び記録媒体に関する。
インターネット技術の進展と伴に、カメラ機能のある携帯電話やスマートフォン等撮像装置付き携帯端末装置を利用して撮像した撮像画像を保存する機会が増えている。また、単純に風景や、人物等を被写体とするだけではなく、各種ショー等で展示されている説明図や説明文、あるいは学会等でのスライドを撮像する機会も増大してきている。そして、撮像画像は、撮像日等の情報を元に携帯端末装置にて自動的に付されるファイル名、あるいは、ユーザにより設定されたファイル名が付加されて、携帯端末装置に保存される。
このような撮像画像には、対象物を正面から撮像したものだけでなく、斜め方向から撮像したものも存在する。斜め方向から撮像した画像には歪みが生じているため、例えば、幾何学補正を行い、歪みを抑制した画像を生成する技術が開示されている。歪みを抑制した画像を生成するために、例えば、特許文献1には、撮影対象物の画像の輪郭を求め、輪郭から画像の形状を求め、画像の形状と実際の撮影対象物との関係を示す射影パラメータを求め、この射影パラメータを用いて画像変換を行う撮影装置が開示されている。
他方で、画像を高圧縮PDFファイルに変換する(高圧縮PDFファイルを生成する、高圧縮PDF化する)技術がある。画像を高圧縮PDFファイルに変換するのに用いられる技術の1つとして、Mixed Raster Content(MRC)のような、レイヤ分離に基づく画像圧縮技術が実用化されている。レイヤ分離に基づく画像圧縮技術は、圧縮すべき画像から文字及び/又は線画を表す前景マスクを生成し、生成した前景マスクに基づいて、カラー画像を前景レイヤと背景レイヤとに分離し、夫々に適した圧縮技術を用いて前景レイヤと背景レイヤとを圧縮する。これらの処理よって、最終的に高圧縮画像を生成する。
ここで、前景レイヤとは、文字及び/又は線画よりなるレイヤであり、一般的に、JBIG(Joint Bilevel Image Group )、MMR(Modified Modified Read code )、LZW(Lempel Ziv Welch)等の可逆圧縮技術を用いて圧縮される。他方、背景レイヤは、文字及び/又は線画以外の画像を表すレイヤであり、一般的に、JPEG(Joint Photographic Experts Group)等の非可逆圧縮技術を用いて圧縮される。
画像を高圧縮PDFファイルに変換する技術は、通常、コンタクトガラスに置かれた原稿、あるいは、原稿搬送装置より搬送される原稿を読み取った画像に対して適用される。このような読み取りシステムにおいては、読取装置と原稿面との距離が固定されており、原稿を読み取った画像にぼやけが生じたり、原稿が極端に傾いて読み取られたりすることはない。
特開2005−122320号公報(2005年5月12日公開)
ところで、上記撮像装置を備えた携帯端末装置を用いて様々な場面で撮像される撮像画像を高圧縮PDFファイルに変換し、これを画像表示装置や画像形成装置等に送信することが考えられる。しかし、撮像画像のうち、手ぶれや焦点が対象物に合っていない状態で撮像されたものでは、ぼやけが生じることがある。撮像画像にぼやけが生じ、文字や線画がぼやけている画像に対して上記圧縮技術を適用すると、本来、前景レイヤとして抽出される文字や線画の部分が背景レイヤに含まれ、背景レイヤは低解像度化処理されるため、文字や線画が不明瞭となり画質が劣化する。
また、上記したように、対象物が撮像装置に対して大きく傾いて撮像される場合がある。このように、撮像画像に幾何学的歪みが生じている場合、画素を補間して幾何学的歪みを補正する処理が行われる。この補間処理において、幾何学的歪みが大きい箇所(例えば、撮像画像の奥に位置する領域)では情報量が不足するため、補間精度が悪くなり、結果として画像が不鮮明になることがある。不鮮明な画像領域の文字や線画に対して上記圧縮技術を適用すると、上記撮像画像にぼやけが生じている場合と同様に、文字や線画が不明瞭となり画質が劣化する。
このように、撮像画像によっては高圧縮PDFファイルといった圧縮された環境非依存型文書書式の画像への変換に適さないものが含まれる。そこで、事前に撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているかを判定すると、ユーザに判定結果の通知や変換処理の停止を促す通知をしたり、あるいは、変換処理を自動的に停止したりすることができる。結果的に、画質の劣化の抑制に繋がる。よって、本発明の目的は、撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか判定できる判定装置を提供することにある。
上記の課題を解決するために、本発明の一態様に係る判定装置は、撮像装置により撮像された画像である撮像画像から特徴量として、当該撮像画像についての、ぼやけに関する情報、傾きの情報、及び画像種別に関する情報の少なくとも1つを抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した特徴量が所定条件を充たすか否かを判定することで、上記撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定する撮像画像判定手段と、を備えたことを特徴とする。
上記構成によると、撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否かの判定ができるという効果を奏する。
実施の一形態の携帯端末装置の構成を示すブロック図である。 上記携帯端末装置の有する制御部の構成を示すブロック図である。 上記携帯端末装置の有するぼやけ検出部での処理を示すフローチャートである。 ぼやけの少ない撮像画像についての差分値のヒストグラムの例を示す図である。 ぼやけの多い撮像画像についての差分値のヒストグラムの例を示す図である。 エッジ抽出フィルタの例を示す図である。 上記携帯端末装置でのシングルショットでの撮像時の処理の流れを示すフローチャートである。 撮像画像をプレビュー表示した際の表示例を示す図である。 上記携帯端末装置でのマルチショットでの撮像時の処理の流れを示すフローチャートである。 複数の撮像画像をプレビュー表示した際の表示例を示す図である。 撮像画像を調整するための調整画面の例を示す図である。 画像の幾何学補正における補正例を示す図である。 カラーバランスを補正するのに用いられるルックアップテーブルの一例を示す図である。 上記携帯端末装置での撮像後の処理の流れを示すフローチャートである。 実施の一形態の画像形成装置の構成を示すブロック図である。 上記画像形成装置の有する第2画像処理部の構成を示すブロック図である。 上記画像形成装置での処理の流れを示すフローチャートである。
以下に、本発明の実施の形態について、図を参照に詳細に説明する。
〔実施の形態1〕
1.携帯端末装置
本実施の形態の携帯端末装置1について説明する。携帯端末装置1は、例えば、スマートフォン、タブレット端末、デジタルスチルカメラ、携帯電話等である。本実施の形態では、特に、携帯端末装置1は、対象物を撮像した画像である撮像画像(撮像画像データ)について、少なくともA/D変換、幾何学補正を行い、撮像画像が圧縮された環境非依存型文書書式の画像への変換(画像の生成)に適しているか否かの判定を行う。以下では、圧縮された環境非依存型文書書式の画像として、高圧縮PDFファイルを用いて説明するが、高圧縮PDFファイルに限定されることはない。判定対象の撮像画像は1枚でも複数枚でもよい。
そして、携帯端末装置1は、判定結果に基づき、撮像画像を高圧縮PDFファイルまたは通常のPDFファイル(一般のPDFファイル)に変換し、出力処理のため画像形成装置(MFP)や画像表示装置(インフォメーションディスプレイや電子黒板等)にネットワークを介して送信する。ネットワークは、無線でも有線でもよく、通信形態を問わない。送信する際に、出力処理を行うモードを選択できるように構成されている。出力処理については後述する。また、対象物を撮像する際、後述のように、シングルショットかマルチショットかの選択を行えるように構成されている。
図1は、携帯端末装置1の構成を示すブロック図である。図1に示すように、携帯端末装置1は、制御部2、記憶部3、撮像部(撮像装置)4、通信部5、表示部6、入力部7、記録媒体アクセス部8を備えている。
制御部2は、携帯端末装置1の各ブロックを統括的に制御するブロックである。さらに、制御部2は、図2に示すように、第1画像処理部9、撮像画像判定部(撮像画像判定手段)16、表示制御部(表示制御手段、通知手段)17、として機能する。これらについては後述する。
記憶部3は、携帯端末装置1の各処理を行うためのプログラムやデータを記憶する。また、撮像部(撮像装置)4が撮像して得られた撮像画像を記憶する。なお、撮像画像は、外部機器(図示せず)から受信したものであってもよい。さらに、記憶部3は、携帯端末装置1の機種情報、ユーザ情報や処理を行う際に必要なデータを格納する。なお、ユーザ情報とは、携帯端末装置1のユーザを識別する情報であり、例えば、ユーザID及びパスワード等である。
撮像部4は、CCDセンサ、CMOSセンサを用いて、対象物の撮像を行い、撮像画像を生成するブロックである。なお、撮像部4は、予め設定された解像度で対象物の撮像を行う。
通信部5は、外部とのデータ通信を行うブロックである。本実施の形態では、USB(Universal Serial Bus)1.1又はUSB2.0の規格に基づく、シリアル転送/パラレル転送、無線データ通信機能を有するものである。通信部5は、ユーザからの入力に従って画像を画像形成装置50、又は、図示しない画像表示装置やサーバ装置に送信する。
表示部6は、例えば、液晶ディスプレイ等により構成され、各種画像や各種情報の表示を行う。入力部7は、複数のボタンを有しており、ユーザが携帯端末装置1に対する入力等を行うためのものである。ボタンの例としては、撮像部4を操作するためのシャッターボタン、オートフォーカス設定ボタン、露出調整バー、画像読み出しボタン(画像データを記憶部3から読み出すボタン)、条件設定ボタン等である。表示部6と入力部7とが一体となったタッチパネルとして構成されていてもよい。
記録媒体アクセス部8は、携帯端末装置1の各処理を行うためのプログラムが記録された記録媒体30からプログラムを読み出すブロックである。
1−1.第1画像処理部
第1画像処理部9は、撮像画像に対して画像処理を行うブロックである。第1画像処理部9は、図2に示すように、A/D変換処理部10、幾何学補正部11、ファイル生成部(ファイル生成手段)12、及び特徴量抽出部(特徴量抽出手段)19を備える。
A/D変換処理部10は、撮像部4が撮像した撮像画像に対してA/D変換処理を行うブロックである。
幾何学補正部11は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み(つまり、文書画像が形成された矩形状の平面の歪み)を補正するとともに、撮像画像における撮像対象物の傾きを補正するブロックである。
具体的には、幾何学補正部11は、撮像画像データに基づいて、矩形の撮像対象物と背景との境界となる4つのエッジ画素群に対応する直線の式を求める。そして、幾何学補正部11は、当該4つの直線で囲まれる四角形の領域(補正前領域)を特定し、特定した補正前領域を切り出す。
次に、幾何学補正部11は、図12のように、特定した四角形の補正前領域(図12において一点鎖線で示される)を、上下の2辺が水平方向に略平行であり、所定のアスペクト比(例えば、ビジネス文書で用いられているA判B判なら7:10である等)及び大きさを有する矩形状の標準領域(図12において実線で示される)に変換するための写像を求める。なお、標準領域の上下の2辺は水平方向と完全に平行でなくてもよく、水平方向に対して僅かな所定範囲内の角度を有していてもよい(略平行であってもよい)。
ここで、写像とは、補正前領域の各画素の座標(x1、y1)から標準領域の対応する画素の座標(x2、y2)への写像変換(座標変換処理)するための規則fx、fyのことであり、x2=fx(x1、y1)、y2=fy(x1、y1)で表される。当該写像変換としては公知の技術を用いることができる。なお、幾何学補正部11は、予め記憶部3に記憶されているアスペクト比に合うように変換してもよいし、入力部7から入力されたアスペクト比に合うように変換してもよい。また、標準領域の大きさとしては、入力部7から入力された大きさが設定されてもよいし、補正前領域と同じ面積となるような大きさが設定されてもよい。
次に、幾何学補正部11は、求めた写像に従って、撮像画像データから切り出した補正前領域に対して座標変換を行う。これにより、幾何学的歪み及び傾きの補正(以下、幾何学補正という場合がある)を行うことができる。
幾何学補正の方法としては、上記の方法に限定されるものではなく透過変換方法や公知の技術を用いることができる。
特徴量抽出部19は、撮像画像から特徴量として、当該撮像画像についての、ぼやけに関する情報、傾きの情報、及び画像種別に関する情報の少なくとも1つを抽出するブロックである。特徴量抽出部19は、ぼやけ検出部13、原稿種別判別部14、及び傾き検出部15を備える。これらについては後述する。
ファイル生成部(ファイル生成手段)12は、撮像画像からPDFファイルを生成する(PDFファイルに変換する)ブロックである。高圧縮PDFファイルを生成する際には、以下の(1)〜(5)を実行する。
(1)入力画像から文字画素を表す前景マスクを抽出する前景マスク生成処理を行う。この処理としては、領域分離処理において、文字領域であると判定された画素を2値化し文字画素を抽出する。
(2)前景画素色をインデックス化し、インデックス画像を表す前景レイヤと、前景レイヤの各文字色、及び各文字色領域の最大・最小座標、各インデックスに属する画素数を格納した前景インデックスカラーテーブルを生成する前景色インデックス化処理を行う。この処理としては、特開2002−94805号公報に記載されている方法を用いることができる。これは、前景色のインデックス化処理に関する方法であり、前景レイヤ生成時に全ての前景画素を限られた色数で表す方法である。詳細には、前景画素について、前景インデックスカラーテーブルを更新していくことで、最終的に前景画像のインデックス化を行う。各前景画素について、前景画素色が既に前景インデックスカラーテーブルに登録されていると判断された場合、前景インデックスカラーテーブル内で、最も近い色を有するインデックス値を割り当てる。前景画素色が前景インデックスカラーテーブルに登録されていないと判断された場合は、新規インデックス値を割り当て、前景インデックスカラーテーブルに登録する。上記処理を繰り返すことにより、前景画像をインデックス化する。
(3)入力画像から前景画素を取り除いて、背景レイヤを生成する処理である背景レイヤ生成処理を行う。背景レイヤの圧縮率を向上するために、前景画素周辺の前景画素でない周辺背景レイヤ画素を用いて穴埋め処理を行う。前景画素周辺の前景画素でない背景画素を参照し、その背景画素の平均値を用いて、背景レイヤ前景画素部を穴埋めする。また、近傍に前景画素でない背景画素が存在しない場合、近傍穴埋め処理結果を用いる。また、穴埋め処理が施された画像に対して、単純間引き、ニアレストネイバー、バイリニア、又はバイキュービック等の補間処理を行うことにより、背景画像の低解像度化処理を行うようにしても良い。例えば、入力画像の解像度を1/2の解像度にする。
(4)入力される前景レイヤと、前景色インデックス化処理にて生成された座標情報を用いて、各インデックスの2値化画像を出力する2値画像生成処理を行う。
(5)各レイヤに適切な圧縮処理を適用する。前述の通り、前景レイヤは、MMR(Modified Modified Read、可逆圧縮技術)を用いて圧縮する。一方、背景レイヤはJPEG(Joint Photographic Experts Group、非可逆圧縮技術)を用いて圧縮する。
なお、撮像画像から通常のPDFファイルを生成する場合には、ページ毎の画像データはページ全体の画像を一つのJPEG画像として圧縮し、PDF形式のファイルに埋め込む。このとき、テキストに文字認識処理を行い、描画コマンドに基づいて、透明テキストを画像データに埋め込むようにしてもよい。
1−1−1.ぼやけ検出部
ぼやけ検出部13は、撮像画像のぼやけに関する情報を検出するブロックである。本実施の形態では、ぼやけに関する情報として、画像にぼやけが生じているか否かの情報を検出する。ぼやけ検出部13での処理について、図3を用いて説明する。
まず、対象画像(撮像画像)の画素(対象画素)を読み込み(S1)、RGBの画像データを輝度データに変換し、隣接画素の差分値の絶対値を求める(S2)。ここで、RGBの画像データの輝度データへの変換は下記式を用いる。
Y=0.3R+0.6G+0.1B
(Y:輝度、R・G・B:撮像画像データの色成分の値)
なお、輝度データの代わりに、明度データ、あるいは、Gデータを用いてもよい。差分値の絶対値は、画素毎に求める。
次に、算出した隣接画素の差分値の絶対値のヒストグラムを作成する(S3)。作成したヒストグラムの例を図4及び5に示す。図4は、ぼやけの少ない撮像画像についての差分値のヒストグラムの例であり、図5は、ぼやけの多い撮像画像についての差分値のヒストグラムの例である。なお、差分値の算出において、差分値が0あるいは非常に小さい値は、センサ出力によるノイズ成分などにより生じる差分値を多く含み得る。ここでは、ぼやけの判定を行うために、大きな差分値があるかどうかが分かればよいので、所定の差分値に満たないものを以後の計数に含めずに演算を行うことで、これらの影響を除去する。
そして、対象画像の最終の画素の読み込みが終了したかを判定する(S4)。S4にて終了していないと判定された場合(S4にてNO)、S1から繰り返す。S4にて終了したと判定された場合(S4にてYES)、隣接画素の差分値の絶対値の平均値を算出し(S5)、隣接画素の差分値の絶対値の平均値が閾値TH1(例えば、256階調(8ビット)の画像の場合は24)よりも大きいかを判定する(S6)。絶対値の平均値が閾値よりも大きい場合(S6にてYES)、画像のぼやけは少ないと判断し、ぼやけ画像フラグをOFFにして(S7)、終了する。分値の絶対値の平均値が閾値よりも大きくない場合(S6にてNO)、画像のぼやけは多いと判断し、ぼやけ画像フラグをONにして(S8)、終了する。
画像にぼやけが生じるとエッジがぼやけるため、隣接画素の差分値の絶対値は小さくなり、隣接画素の差分値の絶対値の平均値も小さくなる。よって、隣接画素の差分値の絶対値の平均値を閾値処理することにより、画像のぼやけを判断することができる。画像のぼやけは、携帯端末装置1で撮像する際の手ぶれや撮像対象物に焦点が合っていない場合に発生するものである。
高圧縮PDFファイルの生成を行う際、コントラストが高い領域は、前景レイヤとして抽出されるが、元来コントラストが高い領域に対してぼやけが生じて、エッジのコントラストが低下してしまう。このようにエッジのコントラストが低下した領域は、前景レイヤとして抽出されず背景レイヤに含まれる可能性が高くなる。背景レイヤは、低解像度化処理や圧縮率を高く設定してファイルの容量を小さくするため、小さい文字等は潰れて、文字の判読性を損なってしまう恐れがある。これは、高圧縮PDFファイルを生成する際の特有な事象であり、通常のPDFファイルにおいては、JPEGあるいはTIFF形式などの通常の圧縮・非圧縮画像フォーマットに準拠したものである場合には生じないため、通常のPDFファイルで保存する場合は問題とはならない。
上記したように、隣接画素の差分値の絶対値の平均値を求め、閾値処理を行うのではなく、次のようにしてもよい。文字原稿に対して、図6に示すようなエッジ抽出フィルタを用いてエッジ強度を算出し、エッジ強度の標準偏差を求めて、閾値(例えば、256階調の画像データの場合、8)処理し、エッジ強度が閾値以下の場合、ぼやけが生じていると判定する。
1−1−2.原稿種別判別部
原稿種別判別部14は、撮像画像の原稿種別を判別するブロックである。原稿種別判別部14は、撮像画像がテキスト主体の原稿であるか写***体の原稿であるかを判別する。判別は例えば、下記のような簡易的な方法を用いることができる。
撮像画像データを例えば、画像全体のうち128×128画素よりなるブロックに分割し、ブロック毎に、ブロック内の画素値の最大値と最小値の差分の絶対値(レンジ)、および隣接画素の差分値の絶対値の平均値を求める。隣接画素の差分値の絶対値の平均値は、例えば、右側の画素の画素値から左側の画素値の差分値の絶対値を求め、この処理をブロック内の画素(ブロック外縁の画素は除く)に対して行い、平均値を求める。そして、画素値のレンジ、差分値の絶対値の平均値、標準偏差が所定の範囲内にあるか否かの判定を行う。
画素値のレンジ、隣接画素との差分値の絶対値の平均値、標準偏差が所定の範囲(例えば、256階調の画像の場合に、画素値のレンジが64以下、隣接画素の差分値の絶対値の平均が10以下、標準偏差が10以下)内にある場合、写真領域ブロックと判断する。所定の範囲内にない場合、文字領域ブロックと判断する。写真は階調性を有しているので、ブロック内の画素値の最大値と最小値の差分の絶対値、隣接画素の差分値の絶対値の平均値、あるいは、標準偏差は小さい値となる。従って、これらの特徴量に対して、閾値を、例えば、上記のように設定することで、写真領域とテキスト領域とを分離することができる。
上記ブロックごとの判定を撮像画像データに対し行った後、写真ブロックの総数が、画像全体のブロック数の所定の割合(例えば、70%)以上ある場合には、写***体の原稿の撮像画像であると判定する。
1−1−3.傾き検出部
傾き検出部15は、 撮像画像における原稿の傾きを検出するブロックである。カメラに対して、原稿が傾いて撮像されると、撮像画像の幾何学補正を行う際、撮像画像の奥(遠方)に位置する画像にぼやけが生じる。例えば、幾何学補正方法として、透視変換を用いる場合について検討する。透視変換は、例えば高層建造物を地上から撮像して作成された入力画像を高層建造物の正面から撮像して作成されたように幾何変換するものである。透視変換によれば、注目画素p(x,y)は次式により表されるP(X,Y)に変換される。
X=(ax+by+c)/(px+qy+r)
Y=(dx+eY+f)/(px+qy+r)
ここで、a、b、c、d、e、f、p、q、rは、画像における透視変換の中心と画像の上下あるいは左右の拡大率とにより決まるパラメータである(特開2005−202593号公報参照)。
幾何学的歪が生じている撮像画像を補正する場合、変換前の撮像画像には存在しない画素を推定する必要があり、変換前の撮像画像データを用いて、変換後の撮像画像データを補間演算により求める必要がある。補間演算の方法は、一般的に知られているバイリニアやバイキュービック補間方法などを利用する。この補間演算を行う際、撮像画像の手前に位置する画素は、歪の度合いが小さいので比較的精度良く補間を行うことができる。一方、撮像画像の遠方に位置する画素は歪度合いが大きく、補間の精度が多少低下する場合があり、画像が不明瞭となり得る。撮像画像の遠方に文字や線画が存在すると文字や線画が不明瞭になり、上記したように、前景レイヤとして抽出されなくなることがあり、画質が劣化する。
そこで、傾き検出部15は、撮像画像の矩形領域を抽出し矩形領域の歪み度合い(角度)を求める。矩形領域の歪み度合いを求めるために、まず、原稿の4つの頂点座標(4隅の座標)および原稿の4辺の直線の式を、例えば以下の(1)〜(4)の方法にて求める。
(1)まず、エッジ抽出を行う。エッジの抽出には、例えば、輝度データに対しCannyフィルタ(ガウシアンフィルタとソーベルフィルタを用いて、細線化されたエッジを検出するフィルタ)を適用して抽出する。この時、例えば、フィルタ処理を行う前に、平滑化や、フィルタ処理後に、膨張収縮などのモルフォロジー変換を行ってもよい。
(2)次に、ラベリングおよび特徴領域抽出を行う。抽出されたエッジ画像に対し、4方向または8方向に隣接する画素のラベリングを行い、ラベリング結果に基づき、特徴領域の抽出を行う。例えば、ラベリングされた領域の幅が画像幅の1/4以上、かつ、領域高さが画像高さの1/4以上で、かつ、領域の中心x座標が、画像幅の1/4以上かつ3/4以下で、領域の中心y座標が、画像高さの1/4以上かつ3/4以下であるものを抽出する。ここでは、撮像画像の左上を原点とし、右方向をx座標、下方向をy座標としている。
(3)次に、四角形を構成する直線を抽出、つまり幾何学的配置の検出を行う。例えば、四角形の上辺を抽出するため、エッジ画像の(0,0)座標から画像高さの1/2の座標まで、y軸下方向に探索していき、最初にエッジ画素が検出された座標を記録する(検出された座標を、(0,y0)とする)。次に、(1,0)座標からy軸下方向に探索していき、最初にエッジ画素が検出された座標を記録する(検出された座標を、(1,y1)とする)。この時、y0−1≦y1≦y0+1ならば、この2点は接続されていると判断し、カウンタを1増やす。y0−1≦y1≦y0+1でないならば、カウンタを0にする。エッジ画素が検出されない場合、カウンタを0にする。この処理を画像端まで繰り返し、最もカウンタ数の多い座標群を、直線を構成する座標として記録する。
記録された座標群から、例えば、最小二乗法を用いることで、直線の式を求める。この時、最もカウンタ数が多いものが、例えば画像幅の1/4に満たない場合は、直線として抽出しないという処理を行う。これにより、直線が抽出できなかった場合、直線の抽出ができなかったという情報を記録する。
(4)最後に、直線の交点を求める。上記(3)の処理により、四辺が抽出でき、直線の式が求められた場合、2直線の交点は容易に求める事ができるので、左辺直線と上辺直線の交点を左上頂点座標、上辺直線と右辺直線の交点を右上頂点座標、右辺直線と下辺直線の交点を右下頂点座標、下辺直線と左辺直線の交点を左下頂点座標として記録する。上記(3)により四辺全てが抽出できなかった場合でも、例えば三辺が抽出できたのであれば、残りの一辺は画像端の直線として直線式を求め(左辺が抽出できない場合、x=0の直線の式とする)、その直線式を用いて4つの頂点座標を求め、加えて、三辺のみが抽出できたという情報を記録する。
以上の方法により、4つの頂点座標および4辺の直線を用いることができる。なお、上記の方法以外にも公知の技術を用いて4つの頂点座標および4辺の直線を求めてもよい。上記方法により、4辺の直線および4点の頂点座標が求められているので、これらを用いて、矩形領域の各辺の成す角度を求める。
1−2.撮像画像判定部
撮像画像判定部16は、撮像画像が高圧縮PDFファイルの生成に適しているか否かを判定するブロックである。撮像画像判定部16は、特徴量抽出部19にて抽出(検出)した何れかの特徴量が所定条件を充たさない場合、撮像画像は高圧縮PDFファイルの生成に適していないと判断する。つまり、抽出した特徴量うちの1つでも所定条件を充たさない場合には、撮像画像は高圧縮PDFファイルの生成に適していないと判断する。
1−2−1.ぼやけ
撮像画像判定部16は、ぼやけ検出部13での処理結果に基づき、ぼやけ像判定フラグがONになっている、あるいは、ぼやけが発生している(ぼやけている)と判定された撮像画像に対して、高圧縮PDFファイルの生成に適していないと判定する。反対に、ぼやけ像判定フラグがOFFになっている、あるいは、ぼやけていないと判定された撮像画像に対して、高圧縮PDFファイルの生成に適していると判定する。
画像にぼやけていると、高圧縮PDFファイルの生成に不適であると判定しているのは、次の理由からである。高圧縮PDFファイルの生成処理において、画像がぼやけていると、文字部を前景マスクとして抽出する精度が低下し、それに伴い、文字部が背景レイヤと判定されやすくなる。背景レイヤは高圧縮率で圧縮処理されため、背景レイヤと判定された文字部の画質がぼやけていない画像と比較して劣化してしまう。よって、不適であると判定する。
1−2−2.原稿種別
写真領域は、背景領域に分離され、背景領域は、低解像度化処理が施され、圧縮率を高くして圧縮処理が行われる。この場合、写真領域の画質劣化が目立つ場合があり、特に、写真領域のみからなる原稿の場合、好ましくない。文字領域と写真領域が混在する原稿の場合、写真領域は多少画質が劣化する場合があるが、文字領域の再現性が確保される。従って、撮像画像判定部16は、テキスト主体の原稿の場合、高圧縮PDFファイルを生成しても問題ないと判断する。
以上から、撮像画像判定部16は、原稿種別判別部14での判別に基づき、撮像画像がテキスト主体ならば、高圧縮PDFファイルの生成に適していると判定する。反対に、撮像画像が写***体ならば、高圧縮PDFファイルの生成に適していないと判定する。
1−2−3.傾き
傾き検出部15にて求められた矩形領域の各辺の成す角度のうち最も大きい角度を抽出し、閾値との比較を行う。
撮像画像判定部16は、抽出した角度θが所定範囲内(例えば、−30°〜+30°)であるか否かを判定し、角度θが所定範囲内である(例えば、30°より小さい)場合、高圧縮PDFファイルの生成に適していると判定する。
1−3.表示制御部
表示制御部17は表示部6における表示を制御するブロックである。表示制御部17は通知部(通知手段)18の機能を有する。通知部18は、撮像画像判定部16による判定結果を通知するブロック、特に、撮像画像が高圧縮PDFファイルの生成に適切でない場合、通知を行うブロックである。本実施の形態では、表示部6での表示にて通知を行うため、通知部18は表示制御部17の一機能として実施される。
本実施の形態では、通知部18は、高圧縮PDFファイルの生成の適否、またはそれに関した情報を、シングルショット(1枚撮像)時とマルチショット(複数枚撮像)時とに分けて通知する。なお、シングルショットとマルチショットは、撮像を行う前にユーザが入力部7より選択できるように構成されている。
1−3−1.シングルショット
シングルショットでの撮像が行われた場合の通知部18による通知について、図7のフローチャートを用いて説明する。図7に示すように、撮像が行われると(1枚撮像後、撮像完了の問合せに対して、ユーザがOKボタンを選択した場合)(S11)、撮像画像を記憶部3に保存し(S12)、幾何学補正を含む画像補正を施す(S13)。次に、撮像画像が高圧縮PDFファイル生成に適しているか否かを判定し(S14)、撮像画像が高圧縮PDFファイル生成に適してないという判定結果の場合(S14にてNO)、表示部6における通知を行う(S16)。S16の通知では、後述するように再撮像を促すメッセージを表示するため、次に再撮像を実行させる入力があるか否かを判定する(S17)、再撮像を実行させる入力がある場合(S17にてYES)、S11の撮像から繰り返す。再撮像を実行させる入力がない場合(S17にてNO)、後述のように、通常のPDFファイルを生成して(S18)処理を終了する。
S14にて撮像画像が高圧縮PDFファイル生成に適しているという判定結果の場合(S14にてYES)、撮像画像から高圧縮PDFファイルを生成し(S15)、処理を終了する。
S16の通知では、表示部6に撮像画像をプレビュー表示する。このプレビュー表示の例を図8に示す。補正後の撮像画像にぼやけが発生している場合(ほやけた画像である場合)、コントラストが極端に低い画像となり、高圧縮PDFファイルを生成すると画質劣化が生じ得る。そのため、通知部18は、図8に示すように「適切な高圧縮PDFファイルで保存されない」旨のメッセージ81の表示を行う。本実施の形態では、メッセージ81を表示するが、単に高圧縮PDFファイルの生成の適否判定を表示してもよい。
図8に示す表示例において、再撮影ボタン82は、再撮像を実行する入力を受け付けるボタンである。再撮影ボタン82は、メッセージ81が表示されている状態にて、高圧縮PDFファイルが生成されないのであれば、再撮像してもよい(撮像し直してもよい)とユーザが判断したものとして、再撮像の制御に遷移できるように設けられている。
図8に示す表示例において、OKボタン83は、撮像画像をPDF化(PDFファイルに変換、PDFファイルの生成)することを促す入力ボタンである。ここでは、ユーザがメッセージ81の表示されたプレビューを見て、問題ないと判断したものとして、PDF化に遷移できるように設けられている。OKボタン83が押圧された場合には、撮像画像は、高圧縮PDFファイルではなく通常のPDFファイルとして保存される。これは、高圧縮PDFファイルの生成の適否判定の結果、高圧縮PDFファイルの生成に適さないと携帯端末装置1内での判定がなされたため、撮像画像を高圧縮PDF化せずに通常のPDF化して保存する設定とするよう制御されているからである。このような制御を行うことにより、高圧縮による画像サイズの低減は行えないが、判読性を損なうことのない通常のPDF化することにより、判読性への影響を最小限に抑えることができる。
1−3−2.マルチショット
マルチショットでの撮像が行われた場合の通知部18による通知について、図9のフローチャートを用いて説明する。図9に示すように、まず、1つの撮像が行われると(S11)、撮像画像を記憶部3に保存し(S12)、幾何学補正を含む画像補正を施す(S13)。次に、撮像画像が高圧縮PDFファイル生成に適しているか否かを判定し(S14)、撮像画像が高圧縮PDFファイル生成に適してないという判定結果の場合(S14にてNO)、表示部6における通知を行う(S16)。S16の通知では、上記のシングルショットのときと同様に再撮像を促すメッセージを表示するため、次に再撮像を実行させる入力があるか否かを判定する(S17)。
再撮像を実行させる入力がある場合(S17にてYES)、S11の撮像から繰り返す。再撮像を実行させる入力がない場合(S17にてNO)、撮像画像に通常のPDFファイルを生成するための属性情報を付与する(S18a)。反対に、S14にて撮像画像が高圧縮PDFファイルの生成に適しているという判定結果の場合(S14にてYES)、撮像画像に高圧縮PDFファイルを生成するための属性情報を付与する(S15a)。
次に、撮像が完了したかを判定し(S19)、完了していない場合(S19にてNO)、S11から繰り返す。撮像が完了した場合には(S19にてYES)、撮像された複数枚の撮像画像をサムネイル表示する(S20)。撮像画像の枚数が多い場合、例えば、撮像した順に、例えば、3枚ずつ順次表示する。このとき、S15aまたはS18aで付与された属性情報を併せて表示する(併記する)(S21)。本実施の形態では、属性情報として、高圧縮PDFファイルの生成の判定結果を表示する。判定結果として、高圧縮PDFファイルの生成に適していないものには、その旨を通知するメッセージの表示を行い、ユーザへの通知を行う。高圧縮PDFファイルの生成に適しているものについては、何も表示しなくてもよい。
そして、後述のように属性変更の指示入力があったかを判定し(S22)、属性変更の指示入力があった場合には(S22にてYES)、属性情報を変更(属性変更処理)して(S23)、S20から繰り返す。属性変更の入力がない場合には(S22にてNO)、属性情報に応じたPDFファイルを生成する。
S20およびS21での表示部6での表示例を図10に示す。図10は、高圧縮PDFファイルで撮像画像を保存するか否かの入力をユーザに促す場合の表示例である。図10の表示例では、撮像画像のサムネイル画像P1〜P3が表示され、高圧縮PDFファイルの生成に適していないものには、「高P×」のメッセージ101が表示されている。高圧縮PDFファイルの生成に適しているものについては、何も表示しない。なお、「高P×」のメッセージ101ではなく、例えば「高圧縮PDF化不適」などのメッセージであってもよい。また、高圧縮PDFファイルの生成に適しているものについて、例えば「高圧縮PDF化適」などのメッセージを表示してもよい。
図10に示す表示例では、「高P×」のメッセージ101により、高圧縮PDFファイルとして保存すると画質劣化が生じ得ることが通知されているが、それでも構わない場合、ユーザは、高圧縮PDFファイルでの保存を指示する領域102のチェックボックスにチェックを入れる。チェックが入れられることで、高圧縮PDFファイルとして保存する指示が入力される。
撮像画像を高圧縮PDFファイルとして保存する指示が入力された場合、図10に示すサムネイル画像P1〜P3に対応する撮像画像は、全て、高圧縮PDFファイルとして保存される。図10に示される保存ボタン103を押圧することで、保存を実行させることができる。高圧縮PDFファイルでの保存を選択しない場合、サムネイル画像P1およびP2に対応する撮像画像は高圧縮PDFファイルで保存され、サムネイル画像P3に対応する撮像画像は通常のPDFファイルで保存される。
上記では、高圧縮PDFファイルとして保存するか否かの表示を行うようにしているが、初期設定メニュー画面を表示し、その中で初期設定値として、高圧縮PDFファイル保存を表示するか否かを設定できるようにしてもよい。高圧縮PDFファイルとして保存するか否かの表示を行わない場合、図11に示すような補正画面の表示がなされる。図11において、高圧縮PDFファイルでの保存を指示する領域102はグレーアウト表示される。
図10に示すサムネイル画像P1〜P3のいずれか1つが選択(例えば、ユーザが指で画面をタッチ)されると、図11に示すような原稿の領域を調整するための調整画面が表示される。選択されたサムネイル画像が、高圧縮PDFファイルの生成に適していないと判定された撮像画像に対応するものである場合、調整画面では、高圧縮PDFファイルでの保存を指示する領域102がグレーアウト表示され、チェックボックスにチェックが入っていない状態で表示される。ユーザが高圧縮PDFファイルで保存してもよいと判断した場合には、グレーアウト表示されている領域102をタッチすると、チェックボックスにチェックが入り、チェックが入れられることで、高圧縮PDFファイルとして保存する指示が入力される。そして、調整画面に表示された変更完ボタン113が押圧されると、高圧縮PDFファイルでの保存を有効にする。
上記操作を行うことにより、各撮像画像を保存する際のファイル形式を変更する処理(属性変更処理)が可能となる。ファイル形式を変更せずに撮像画像を保存する場合は、変更完ボタン113が押圧されることで、図10に示すサムネイル画像が表示された画面に戻る。
次に、図11に例示された調整画面に表示された領域変更ボタン112について説明する。幾何学補正部11により算出された4つの頂点座標を編集する指示入力を受け付け、編集後の4つの頂点座標を結ぶ輪郭線で囲まれる領域の画像を基に補正された撮像画像を生成する構成とすることにより、原稿の領域を調整する原稿領域調整処理(領域変更)を行える機能を提供できる。
例えば、図11に示すように、表示制御部17は、調整画面の領域Aにおいて4つの頂点の各々に対応する4頂点アイコンを表示させる。そして、各4頂点アイコンの位置変更指示の入力を受け付け、変更後の各4頂点アイコンの位置に応じて4つの頂点座標を編集し、輪郭線の位置を決定する。このことにより4つの頂点の座標の変更による領域変更を実現できる。撮像画像より原稿を抽出する際、背景が誤って原稿と認識され抽出される場合や、原稿の輪郭が正しく抽出されない場合がある。このような時、ユーザが領域変更ボタン112を押して4つの頂点の位置を操作することで、抽出する原稿の領域を調整することができる。
上記は、マルチショットで撮像が行われた撮像画像に対して原稿の領域を調整する例であるが、シングルショットにおいて、高圧縮PDFファイル生成に適していないと判断された撮像画像に対して、図11に示すような調整画面を表示し、原稿の領域を調整するようにしてもよい。
以上の、特徴量抽出部19、撮像画像判定部16、及び通知部18から、撮像画像が高圧縮PDFファイルの生成に適しているか否かを判定する判定部(判定装置)20が構成される。
1−4.明るさ、コントラスト、およびカラーバランスの検知
携帯端末装置1は、上記のように高圧縮PDFファイルの生成に適しているか否かの判定以外に、明るさ、コントラスト、カラーバランスを検知するように構成されていてもよい。
明るさを検知する場合、例えば、露出オーバー(明るすぎる)やアンダー(暗すぎる)の判定が可能である。これらの場合に再度の撮像が必要となる。露出オーバーあるいはアンダーの判定は、例えば、撮像画像の画素値のうち、最大のものと最小のものを求め、最大値がある閾値(例えば、8ビットで100等)以下であれば、露出アンダーとし、最小値がある閾値(例えば、8ビットで150等)以上であれば、露出オーバーとする等の方法が考えられる。
コントラストを検知する場合、前出の最大・最小の差分値がある閾値以下の場合、コントラスト不足と判定可能である。これら処理は各色チャンネルを通して行ってもよいし、平均値((R+G+B)/3)や明度値(0.299×R+0.587×G+0.114×B:NTSC準拠)等が考えられる。
カラーバランスを検知する場合、各色チャンネル(RGB)の平均値や最大・最小値の比較を行い、ある一つのチャンネルに過度の偏りが発生している場合は、確認を行うようにする。例えば、画像中の最大明度値付近の値(最大明度〜最大明度−5程度)を持つ画素値の各色チャンネルの値の平均値(Ra,Ga,Ba)を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上[Max(Ra,Ga,Ba)−Min(Ra,Ga,Ba)>0.1×Max(Ra,Ga,Ba)]のとき確認を行うようにする、等の方法が考えられる。
2.携帯端末装置での撮像後の処理の流れ
携帯端末装置1において、マルチショットでの撮像が行われた場合の撮像後の処理の流れについて図14を用いて説明する。
撮像が行われると(S11)、撮像画像を記憶部3に保存し(S12)、幾何学補正を含む画像補正を施す(S13)。次に、撮像画像が高圧縮PDFファイル生成に適しているか否かを判定する(S14)。
撮像画像が高圧縮PDFファイル生成に適してないという判定結果の場合(S14にてNO)、表示部6における通知を行い(S16)、再度撮像が選択された場合には、S11から繰り返す。撮像画像が高圧縮PDFファイルの変換に適しているという判定結果の場合(S14にてYES)、撮影画像を表示部6に表示する(S20)。
次に、上述と同様、属性変更の指示入力が行われたかを判定し(S22)、属性変更の指示入力があった場合には(S22にてYES)、属性変更処理を行う(S23)。属性変更の指示入力が無い場合には(S22にてNO)、そのまま次に進む。次に、原稿領域の調整の指示入力が行われたかを判定し(S30)、原稿領域の調整の指示入力があった場合には(S30にてYES)、指示された領域に対して、上述の原稿領域調整処理を行う(S31)。原稿領域の調整の指示入力が無い場合には、そのまま次に進む。
次に、ファイルネームを作成する(S32)。ファイルネームは日時情報や頁総数から自動で作成してもよいし、ユーザによる作成を受け付けてもよい。原稿の領域調整が無い場合(S30にてNO)、そのままファイルネームを作成する(S35)。
その後、高圧縮PDFファイル、あるいは、通常のPDFファイルに変換された撮像画像、携帯端末装置の機種情報、ユーザ情報を画像形成装置50に送信する(S34)。なお、携帯端末装置1の機種情報は、後述する画像形成装置50の第2画像処理部61の画質調整部等でのパラメータの切り替え等、撮像された端末毎に処理又はパラメータを切り替えるために使用される。
そして、全ての撮像画像について処理が終了しているかを判定し(S35)、処理が終了していなければ(S35にてNO)、S20から処理を繰り返す。
ここで、S34での送信時の処理について詳細に説明する。制御部2は、高圧縮PDFファイルまたは通常のPDFファイルに変換された撮像画像を画像形成装置50にて出力させる旨の指示が入力部7から入力された場合、画像形成装置50での出力処理の種類(印刷処理、ファイリング処理、メール送信処理等)の選択指示、ならびに、選択した出力処理を実行するための設定条件(印刷枚数等の印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレス等)の入力を促す画面を表示部6に表示する。そして、制御部2は、入力部7から、出力処理の種類及び出力処理の設定条件を示す設定情報を取得する。そして、制御部2は、入力部7から送信指示が入力されると、高圧縮PDFファイルまたは通常のPDFファイルに変換された撮像画像を画像形成装置50に送信する送信処理を通信部5に実行させる。このとき、通信部5は、高圧縮PDFファイルまたは通常のPDFファイルに変換された撮像画像とともに、撮像画像に対応付けられた設定情報も画像形成装置50に送信する。さらにこのとき、記憶部3に格納されている携帯端末装置1の機種情報、ユーザ情報を併せて送信する。
以上により、携帯端末装置1での撮像後の処理の説明を終わる。
本実施の形態では、上記のように携帯端末装置1にて生成した高圧縮PDFファイル、あるいは通常のPDFファイルは、出力処理のために画像形成装置50に送信される。このとき、入力部7からの送信先の画像形成装置50のアドレスが設定される(記憶部3に記憶されているアドレスが選択される、あるいは、アドレスが直接入力される)と、通信部5から送信先の画像形成装置50に送信される。画像形成装置50で実行される出力処理としては、高圧縮PDFファイル、あるいは通常のPDFファイルを、印刷して出力する印刷処理、サーバ装置やUSBメモリ等の記憶装置へ格納するファイリング処理、電子メールに添付して送信するメール送信処理等がある。また、携帯端末装置1にて生成した高圧縮PDFファイル、あるいは通常のPDFファイルは、サーバ装置あるいは画像表示装置等に送信してもよい。
3.画像形成装置
画像形成装置50の構成について説明する。本実施の形態では、画像形成装置50は、スキャナ、プリンタ、複写機等の機能を備えた複合機(MFP)である。画像形成装置50が実行する出力処理としては、例えば、印刷、ファクシミリ送信、e-mail等のイメージ送信、ファイリング等がある。
図15は、画像形成装置50の構成を示すブロック図である。図15に示すように、画像形成装置50は、制御部52、記憶部53、画像読取部54、画像形成部55、表示部56、入力部57、第1通信部58、第2通信部59、及び記録媒体アクセス部60を備えている。
制御部52は、画像形成装置50が有する各ブロックを統括的に制御する。また、制御部52は、受信した画像データに対して所定の画像処理を行う第2画像処理部(画像処理手段)61と、認証部62として機能する。第2画像処理部61ついては、後述する。
認証部62は、携帯端末装置1から受信した撮像画像の出力処理を行う際に、ユーザ認証を行う。具体的には、認証部62は、携帯端末装置1から受信したユーザ情報と、入力部57から入力されたユーザ情報(ユーザID及びパスワード)とを照合してユーザ認証を行う。
記憶部53は、画像形成装置50で使用される各種プログラムや各種データ等を記憶する。
画像読取部(スキャナ)54は、原稿を読み取るブロックである。画像読取部54は、CCD(Charge Coupled Device)を備え、原稿からの反射光を、RGBに色分解された電気信号(アナログの画像信号)に変換し、この電気信号を出力する。
画像形成部55は、例えば電子写真方式やインクジェット方式を用いて、紙等の記録用紙上に画像を形成するブロックである。すなわち、画像形成部55は、出力処理の一つとして、補正済の画像データで示される画像を用紙やシート等の記録紙に印刷する印刷処理を実行するブロックである。
表示部56は、例えば、液晶ディスプレイ等より構成され、各種画像や各種情報の表示を行うブロックである。入力部57は、複数のボタンを有しており、ユーザがデータの入力等を行うためのものである。表示部56と入力部57とが一体となったタッチパネルとして構成されていてもよい。
第1通信部58は、本実施の形態では、USB1.1又はUSB2.0の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第1通信部58は、携帯端末装置1から、設定情報が付加された画像データを受信する。
第2通信部59は、(a)無線LANの規格である、IEEE802.11a、IEEE802.11b及びIEEE802.11gのいずれかに基づく無線技術を利用したデータ通信、(b)イーサネット(登録商標)を利用した通信用インターフェースの機能を有し、LANケーブルを介した、ネットワークとのデータ通信、(c)無線通信規格である、IEEE802.15.1(いわゆるBluetooth(登録商標))やIrSimple等の赤外線通信規格、Felica(登録商標)等の通信方式のいずれかに基づく無線技術を利用したデータ通信の機能を有する。
第2通信部59は、出力処理として、第2画像処理部61により所定の画像処理が施された画像データをサーバ装置に格納するファイリング処理、もしくは、当該所定の画像処理が施された画像データを添付したメールをメールサーバ装置に送信するメール送信処理を実行する。
記録媒体アクセス部60は、プログラムが記録された記録媒体130から、プログラムを読み出すブロックである。
3−1.第2画像処理部
第2画像処理部61は、携帯端末装置1から受信した、高圧縮PDFファイル、あるいは通常のPDFファイル(以下では、受信ファイルと称する)に対して、所定の画像処理を施すブロックである。
第2画像処理部61は、図16に示すように、画質調整部63、出力画像処理部64、高解像化処理部65を備える。
画質調整部63は、受信ファイルに対して、カラーバランス、コントラスト及び明るさの補正を行うブロックである。ここで、カラーバランス、コントラストを補正する方法の例について説明する。上記カラーバランス検知時の方法で、各チャンネルの最大値・最小値が既知であるので、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用すればよい。ルックアップテーブルの一例としては、あるチャンネルの最大値がMX、最小値がMNで画像データが8bitのとき、MNから(MX−MN)/255のステップで増加させていくようなテーブルを作成すればよい。このようなテーブルの一例を図13に示す。コントラスト補正も同様であるが、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。
高解像化処理部65は、出力対象となる1つの受信ファイルに基づいて、出力対象となる受信ファイルに対する高解像化補正を行う。1つの画像からの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189(2008)にいくつかの方法が紹介されている。一般的には、画像パターンのエッジ方向性を検知・推定し、その向きに合わせた補間(エッジ方向補間処理)を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響等の除去を目的とした高画質化処理からなる。
出力画像処理部64は、受信ファイルを出力(印刷、ファクシミリ送信、e−mail等のイメージ送信、ファイリング等)する際、領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理部等の出力処理を実行するブロックである。
また、画像形成装置50にてファイリングやメール送信する場合、スキャナで読み込まれた画像データ、あるいは、携帯端末装置1から受信した高圧縮PDFファイルや通常のPDFファイル以外のフォーマットの画像データ(例えば、JPEG形式の画像データ)に対して、高圧縮PDFファイルへの変換、さらにはOCRを行って文字認識結果を透明テキストとして貼り付けたサーチャブルPDFファイルを生成するようにしてもよい。あるいは、携帯端末装置1から受信した高圧縮PDFファイルや通常のPDFファイルに対して、OCRを行って文字認識結果を透明テキストとして貼り付けるようにしてもよい。
また、上記のように携帯端末装置1にて生成した高圧縮PDFファイル、あるいは通常のPDFファイルを、図示しない画像表示装置(ディスプレイ)あるいはサーバ装置に送信し、画像表示装置あるいはサーバ装置にて上記で説明した画像形成装置50での処理を実行してもよい。この場合、画像表示装置あるいはサーバ装置の構成は、図15に示す画像形成装置50において、画像読取部54及び画像形成部55を備えていない構成である。また、この場合、第2画像処理部61は、例えば、画質調整部、高解像化処理部、色補正部、空間フィルタ処理部等が備えられている。また、認証部、高解像化処理部は備えていなくてもよい。
4.画像形成装置での処理の流れ
次に、画像形成装置50での処理の流れについて図17を用いて説明する。以下で説明する処理は、特に、携帯端末装置1から受信した高圧縮PDFファイルや通常のPDFファイルにJPEGファイルが埋め込まれている場合、JPEGのファイルを抽出して、あるいは、高圧縮PDFファイルや通常のPDFファイルをビットマップデータに変換して、実行することが可能である。
画像形成装置50は、携帯端末装置1から高圧縮PDFファイル、あるいは通常のPDFファイルを受信すると(S51)、受信ファイルに対して、ユーザ設定に応じて、カラーバランス、コントラスト、明るさについての補正(S52)、幾何学補正及び傾き補正(S53)、超解像化補正(高解像度化)(S54)を行い、これら補正後の受信ファイルを記憶部53に保存する(S55)。そして、出力指示を受け付けたか否かを判定し(S56)、出力指示を受け付けると(S56にてYES)、ユーザ認証を行う(S57)。次に、ユーザ認証にて照合が取れたかを判定し(S58)、照合が取れた場合(S58にてYES)、ユーザ指定に応じた出力処理を実行する(S59)。照合が取れない場合(S58にてNO)、ユーザ認証が所定回数実行されたかを判定し(S60)、所定回数実行されていない場合には(S60にてNO)、S57から繰り返す。ユーザ認証が所定回数実行された場合には(S60にてYES)、処理を終了する。
以上により画像形成装置50での処理が終了する。なお、画像表示装置にて携帯端末装置1からの受信ファイルの表示を行う場合は、図17におけるS52〜S53を実行し、表示を行う。S54の超解像化補正は、必要に応じて行うようにしてもよい。
〔実施の形態2〕
実施の形態1では、携帯端末装置1自身が判定部20を備えていたが、本実施の形態では、判定部20が画像形成装置50に備えられている構成について説明する。つまり、本実施の形態では、画像形成装置50が本発明に係る判定装置の機能を有する。この場合、携帯端末装置1には、判定部20は設けられていない。なお、上述の実施の形態1の説明に用いた図面に記載されている部材と同じ機能を有する部材については、以下の説明においても同じ符号を付記する。それらの各部材の詳細な説明はここでは繰り返さない。
本実施の形態の画像形成装置50では、制御部52に判定部20が設けられており、携帯端末装置1から受信した撮像画像に対して、高圧縮PDFファイルの生成要否の判定を行い、判定結果を携帯端末装置に返信する。よって、第1通信部58が通知部18として機能する。あるいは、判定結果は、画像形成装置50の表示部56に表示してもよい。この場合、携帯端末装置1は、受信した判定結果を基にファイル生成部12にて、高圧縮PDFファイル、あるいは、通常のPDFファイルを生成する。
さらに、画像形成装置50(画像表示装置、あるいは、サーバ装置でも可)で幾何学補正、画質調整処理、高解像度化処理、出力画像処理を行い、高圧縮PDFファイル、あるいは、通常のPDFファイルを生成して、携帯端末装置1に返信するようにしてもよい。この場合、ファイル生成部12は、画像形成装置50に設けられ、携帯端末装置1には設けられない。よって、この場合、携帯端末装置1では撮影画像と処理条件等とを生成し、画像形成装置50に、撮影画像と、各種情報(幾何学補正情報、携帯端末装置1の機種情報、ユーザ情報、処理条件の情報等)とを送信する。ここで、幾何学補正情報は、前述した4個の交点座標の情報である。画像形成装置50は、受信したデータを用いて上記各処理を行い、高圧縮PDFファイル、あるいは、通常のPDFファイルを生成する。
あるいは、画像形成装置50は、携帯端末装置1から撮像画像の送信先アドレスも含めて受信し、画像形成装置50にて上記各処理を行って高圧縮PDFファイル、あるいは、通常のPDFファイルを生成して、上記送信先アドレスに送信するようにしてもよい。
本実施の形態では、判定部20が画像形成装置50に設けられることで、携帯端末装置1の負荷を減らすことができる。
なお、本実施の形態では、判定部20が画像形成装置50に備えられているものとして説明したが、画像表示装置、あるいはサーバ装置等の他の機器に備えられていてもよい。
〔実施の形態3〕
携帯端末装置1、画像形成装置50は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、携帯端末装置1、画像形成装置50は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラム及び各種データがコンピュータ(又はCPU)で読み取り可能に記録されたROM(Read Only Memory)又は記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)等を備えている。そして、コンピュータ(又はCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
〔まとめ〕
本発明の態様1に係る判定装置(判定部20)は、撮像装置により撮像された画像である撮像画像から特徴量として、当該撮像画像についての、ぼやけに関する情報、傾きの情報、及び画像種別に関する情報の少なくとも1つを抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した特徴量が所定条件を充たすか否かを判定することで、上記撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定する撮像画像判定手段(撮像画像判定部16)と、を備えている。
上記構成によると、撮像画像について、圧縮された環境非依存型文書書式の画像(例えば、高圧縮PDFファイル)への変換(生成)の適否の判定を判定装置にて行う。よって、圧縮された環境非依存型文書書式の画像に変換するのに適さない撮像画像を圧縮された環境非依存型文書書式の画像に変換することで画質劣化が生じるのを、事前に防ぐことができる。上記変換の適否の判定は、撮像画像より抽出した、撮像画像についての、ぼやけに関する情報、傾きの情報、あるいは、種別の情報に基づいて行うため、適切な判定を行うことができる。
上記構成の判定装置は、撮像装置(例えば、携帯端末装置)に設けられていてもよいし、撮像装置とは別の装置(例えば、サーバ装置、画像形成装置、画像表示装置)に設けられていてもよい。撮像装置とは別の装置に設けられていると、撮像装置に負荷をかけずに上記変換の適否を判定することができる。この場合、撮像装置とは別の装置は、撮像装置から撮像画像を受信し、判定結果を撮像装置に送信してもよい。さらに、撮像装置とは別の装置にて、上記変換の適否の判定に加え、幾何学補正、画質調整処理、高解像度化処理、出力画像処理等を行い、所定の環境非依存型文書書式の画像に変換(例えば、高圧縮PDFファイル、あるいは、通常のPDFファイルを生成)して、撮像装置に返信するようにしてもよい。
本発明の態様2に係る判定装置は、上記撮像画像判定手段による判定結果を通知する通知手段を備えていてもよい。
上記構成によると、撮像画像判定手段による判定結果をユーザに通知することができる。よって、ユーザは、撮像画像が圧縮された環境非依存型文書書式の画像への変換に適していない場合、事前に知ることで、例えば、別の環境非依存型文書書式の画像への変換処理に振り替えることができ、劣化した画質を取得することを回避することができる。
なお、通知の形態としては、表示、音声、点灯等、ユーザに撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定結果を通知できるものであれば、どのような形態であってもよい。
本発明の態様3に係る携帯端末装置(1)は、外部機器と通信を行う通信部(5)を備えた携帯端末装置において、態様1又は2に記載の判定装置と、上記撮像装置として機能する対象物を撮像する撮像部(4)と、を備え、上記通信部は、上記撮像部により撮像された撮像画像と当該撮像画像についての上記撮像画像判定手段による判定結果とを、上記撮像画像判定手段の判定結果に基づき撮像画像を所定の環境非依存型文書書式の画像へ変換する外部機器に送信する。
上記構成によると、携帯端末装置にて撮像した撮像画像を、携帯端末装置にて、圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定することができる。携帯端末装置は、言葉通りユーザに携帯され、様々な場面で対象物を撮像することができるため、このような携帯端末装置に上記判定装置が備えられていることで、携帯端末装置にて撮像した画像に対して上記変換の適否を判定できるため、好都合である。このように、ユーザにとって使いやすい携帯端末装置を提供することができる。
また、外部機器にて、撮像画像を所定の環境非依存型文書書式の画像へ変換するため、携帯端末装置の負荷を減らすことができる。ここで、撮像画像判定手段の判定結果に基づき撮像画像を環境非依存型文書書式の画像へ変換する外部機器としては、例えば、画像形成装置、画像表示装置、サーバ装置等が挙げられるが、これら以外の装置であってもよい。
本発明の態様4に係る携帯端末装置は、外部機器と通信を行う通信部を備えた携帯端末装置において、態様1又は2に記載の判定装置と、上記撮像装置として機能する対象物を撮像する撮像部と、上記撮像画像判定手段による判定結果に基づき撮像画像を所定の環境非依存型文書書式の画像へ変換するファイル生成手段と、を備え、上記通信部は、上記ファイル生成手段により変換された画像を、当該変換された画像を出力処理する外部機器に送信する。
上記構成によると、携帯端末装置にて撮像した撮像画像を、携帯端末装置にて、圧縮された環境非依存型文書書式の画像への変換の適否に基づき、所定の環境非依存型文書書式の画像へ変換する。携帯端末装置は、言葉通りユーザに携帯され、様々な場面で対象物を撮像することができるため、携帯端末装置にて撮像された画像に対して上記変換の適否を判定でき、その結果に応じて所定の環境非依存型文書書式の画像へ変換できるため、好都合である。また、撮像画像を所定の環境非依存型文書書式の画像へ変換したものを外部機器に送信するため、外部機器ではそれを用いて出力処理できる。このように、ユーザにとって使いやすい携帯端末装置を提供することができる。
ここで、ファイル生成手段により変換された画像を出力処理する外部機器は、例えば、画像形成装置であってもよい。この場合、出力処理は、ファイル生成手段により変換された画像を、印刷して出力する印刷処理、サーバ装置やUSBメモリ等の記憶装置へ格納するファイリング処理、電子メールに添付して送信するメール送信処理等であってもよい。また、上記外部機器としては、例えば、メールサーバ装置であってもよい。この場合、出力処理は、ファイル生成手段により変換された画像を他の携帯端末装置へ送信する送信処理であってもよい。なお、これらは、例示であり、外部機器が上記とは別の機器であっても、出力処理が上記とは別の処理であってもよい。
本発明の態様5に係る携帯端末装置は、表示部と、上記表示部に撮像画像を表示する表示制御手段と、ユーザ入力を受け付ける入力部と、を備え、上記表示制御手段は、上記撮像部により撮像が行われる度に、上記表示部に、上記撮像部により撮像された撮像画像と当該撮像画像についての上記撮像画像判定手段による判定結果とを表示し、かつ、上記撮像画像判定手段による判定結果が否の場合には、再度上記撮像部による撮像を行う入力を促す情報を表示する。
上記構成によると、撮像部により撮像が行われると、撮像画像を表示し、その撮像画像の圧縮された環境非依存型文書書式の画像への変換の適否を表示できる。そして、撮像画像が上記変換に適していない場合、再度上記撮像部による撮像を促す情報を表示することで、ユーザに通知することができる。ユーザは、対象を再度撮像することで、圧縮された環境非依存型文書書式の画像への変換に適した画像を得る可能性を増やすことができる。
本発明の態様6に係る携帯端末装置は、表示部と、上記表示部に複数の撮像画像を表示する表示制御手段と、ユーザ入力を受け付ける入力部と、を備え、上記表示制御手段は、上記表示部に、上記撮像画像判定手段により上記変換に適していないと判定された撮像画像について上記変換に適していない旨の情報を表示し、さらに、上記表示部に表示された複数の撮像画像ついて上記変換を実行するか否かを入力させる情報と、を表示する。
上記構成によると、複数の撮像画像のうち上記変換に適していない撮像画像について適していない旨の情報を表示し、さらに、複数の撮像画像について上記変換を実行するか否かを入力させる情報を表示する。これにより、ユーザに、表示された複数の撮像画像を圧縮された環境非依存型文書書式の画像へ変換することを、選択させることができる。ユーザは、入力部より上記変換を実行するか否かを入力することで、ユーザの意図を反映させることができる。
本発明の態様7に係る携帯端末装置は、表示部と、上記表示部に複数の撮像画像を表示する表示制御手段と、ユーザ入力を受け付ける入力部と、を備え、上記表示制御手段は、上記入力部が上記表示されている複数の撮像画像から一つを選択する入力を受け付けると、当該選択された撮像画像について、上記変換に適していない旨の情報と、上記変換を実行するか否かを入力させる情報と、を上記表示部に表示する。
上記構成によると、複数の撮像画像のうち選択された一つの撮像画像について上記変換に適していない場合にはその旨の情報を表示し、さらに、その撮像画像について上記変換を実行するか否かを入力させる情報を表示する。これにより、ユーザに、選択された撮像画像を圧縮された環境非依存型文書書式の画像へ変換することを、実行するか否かを選択させることができる。ユーザは、入力部より上記変換を実行するか否かを入力することで、ユーザの意図を反映させることができる。
なお、態様1又は2に係る判定装置、あるいは、態様3から7のいずれか1つに係る携帯端末装置は、コンピュータによって実現してもよい。この場合には、コンピュータを上記各手段として動作させることにより上記判定装置又は上記携帯端末装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は、撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否かを判定する判定装置、判定装置を備えた携帯端末装置等に利用することができる。
1 携帯端末装置
2 制御部
4 撮像部(撮像装置)
7 入力部
12 ファイル生成部(ファイル生成手段)
13 ぼやけ検出部
14 原稿種別判別部
15 傾き検出部
16 撮像画像判定部(撮像画像判定手段)
17 表示制御部(表示制御手段)
18 通知部(通知手段)
19 特徴量抽出部(特徴量抽出手段)
20 判定部(判定装置)
61 第2画像処理部

Claims (8)

  1. 外部機器と通信を行う通信部を備えた携帯端末装置において、
    撮像装置により撮像された画像である撮像画像から特徴量として、当該撮像画像についての、ぼやけに関する情報、傾きの情報、及び画像種別に関する情報の少なくとも1つを抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した特徴量が所定条件を充たすか否かを判定することで、上記撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定する撮像画像判定手段とを備えた判定装置と、
    上記撮像装置として機能する対象物を撮像する撮像部と、を備え
    上記通信部は、上記撮像部により撮像された撮像画像と当該撮像画像についての上記撮像画像判定手段による判定結果とを、上記撮像画像判定手段の判定結果に基づき撮像画像を所定の環境非依存型文書書式の画像へ変換する外部機器に送信することを特徴とする携帯端末装置。
  2. 表示部と、
    上記表示部に撮像画像を表示する表示制御手段と、
    ユーザ入力を受け付ける入力部と、を備え、
    上記表示制御手段は、上記撮像部により撮像が行われる度に、上記表示部に、上記撮像部により撮像された撮像画像と当該撮像画像についての上記撮像画像判定手段による判定結果とを表示し、かつ、上記撮像画像判定手段による判定結果が否の場合には、再度上記撮像部による撮像を行う入力を促す情報を表示することを特徴とする請求項に記載の携帯端末装置。
  3. 表示部と、
    上記表示部に複数の撮像画像を表示する表示制御手段と、
    ユーザ入力を受け付ける入力部と、を備え、
    上記表示制御手段は、上記表示部に、上記撮像画像判定手段により上記変換に適していないと判定された撮像画像について上記変換に適していない旨の情報を表示し、さらに、上記表示部に表示された複数の撮像画像ついて上記変換を実行するか否かを入力させる情報と、を表示することを特徴とする請求項に記載の携帯端末装置。
  4. 表示部と、
    上記表示部に複数の撮像画像を表示する表示制御手段と、
    ユーザ入力を受け付ける入力部と、を備え、
    上記表示制御手段は、上記入力部が上記表示されている複数の撮像画像から一つを選択する入力を受け付けると、当該選択された撮像画像について、上記変換に適していない旨の情報と、上記変換を実行するか否かを入力させる情報と、を上記表示部に表示することを特徴とする請求項に記載の携帯端末装置。
  5. 外部機器と通信を行う通信部を備えた携帯端末装置において、
    撮像装置により撮像された画像である撮像画像から特徴量として、当該撮像画像についての、ぼやけに関する情報、傾きの情報、及び画像種別に関する情報の少なくとも1つを抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した特徴量が所定条件を充たすか否かを判定することで、上記撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定する撮像画像判定手段とを備えた判定装置と、
    上記撮像装置として機能する対象物を撮像する撮像部と、
    上記撮像画像判定手段による判定結果に基づき撮像画像を所定の環境非依存型文書書式の画像へ変換するファイル生成手段と、
    表示部と、
    上記表示部に複数の撮像画像を表示する表示制御手段と、
    ユーザ入力を受け付ける入力部と、を備え、
    上記通信部は、上記ファイル生成手段により変換された画像を、当該変換された画像を出力処理する外部機器に送信し、
    上記表示制御手段は、上記表示部に、上記撮像画像判定手段により上記変換に適していないと判定された撮像画像について上記変換に適していない旨の情報を表示し、さらに、上記表示部に表示された複数の撮像画像ついて上記変換を実行するか否かを入力させる情報と、を表示することを特徴とする携帯端末装置。
  6. 外部機器と通信を行う通信部を備えた携帯端末装置において、
    撮像装置により撮像された画像である撮像画像から特徴量として、当該撮像画像についての、ぼやけに関する情報、傾きの情報、及び画像種別に関する情報の少なくとも1つを抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した特徴量が所定条件を充たすか否かを判定することで、上記撮像画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否か判定する撮像画像判定手段とを備えた判定装置と、
    上記撮像装置として機能する対象物を撮像する撮像部と、
    上記撮像画像判定手段による判定結果に基づき撮像画像を所定の環境非依存型文書書式の画像へ変換するファイル生成手段と、
    表示部と、
    上記表示部に複数の撮像画像を表示する表示制御手段と、
    ユーザ入力を受け付ける入力部と、を備え、
    上記通信部は、上記ファイル生成手段により変換された画像を、当該変換された画像を出力処理する外部機器に送信し、
    上記表示制御手段は、上記入力部が上記表示されている複数の撮像画像から一つを選択する入力を受け付けると、当該選択された撮像画像について、上記変換に適していない旨の情報と、上記変換を実行するか否かを入力させる情報と、を上記表示部に表示することを特徴とする携帯端末装置。
  7. 求項1から6のいずれか1項に記載の携帯端末装置を動作させるためのプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
  8. 請求項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013246526A 2013-11-28 2013-11-28 携帯端末装置、プログラム、及び記録媒体 Active JP5886265B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013246526A JP5886265B2 (ja) 2013-11-28 2013-11-28 携帯端末装置、プログラム、及び記録媒体
US14/550,170 US9525868B2 (en) 2013-11-28 2014-11-21 Mobile terminal apparatus which displays captured images
CN201711235302.7A CN107948455A (zh) 2013-11-28 2014-11-27 图像形成装置及图像形成装置的控制方法
CN201410699638.9A CN104683634B (zh) 2013-11-28 2014-11-27 便携式终端装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013246526A JP5886265B2 (ja) 2013-11-28 2013-11-28 携帯端末装置、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2015106742A JP2015106742A (ja) 2015-06-08
JP5886265B2 true JP5886265B2 (ja) 2016-03-16

Family

ID=53182344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013246526A Active JP5886265B2 (ja) 2013-11-28 2013-11-28 携帯端末装置、プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US9525868B2 (ja)
JP (1) JP5886265B2 (ja)
CN (2) CN107948455A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2928174B1 (en) * 2014-03-31 2023-01-04 Open Text S.A. A method and device for capturing a document
US11474767B1 (en) * 2014-05-28 2022-10-18 Amazon Technologies, Inc. Print from web services platform to local printer
US11537262B1 (en) 2015-07-21 2022-12-27 Monotype Imaging Inc. Using attributes for font recommendations
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
WO2017109998A1 (ja) 2015-12-25 2017-06-29 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
JP6808330B2 (ja) * 2016-02-26 2021-01-06 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019012361A (ja) * 2017-06-29 2019-01-24 キヤノン株式会社 情報処理装置、プログラム及び情報処理方法
US11657602B2 (en) * 2017-10-30 2023-05-23 Monotype Imaging Inc. Font identification from imagery
KR102592061B1 (ko) * 2018-02-14 2023-10-23 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
CN109754381B (zh) * 2019-01-03 2023-01-17 广东小天才科技有限公司 一种图像处理方法及***
JP7378221B2 (ja) * 2019-04-17 2023-11-13 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、制御方法、コンピュータプログラム、および記録媒体
KR102176377B1 (ko) * 2019-06-17 2020-11-10 현대오트론 주식회사 차량용 카메라 모듈 및 그 제어 방법
CN111127483B (zh) * 2019-12-24 2023-09-15 新方正控股发展有限责任公司 彩色图片处理方法、装置、设备、存储介质及***
CN111311504A (zh) * 2020-01-03 2020-06-19 上海锦商网络科技有限公司 手机小程序用图像处理方法、标签识别方法及装置
CN112162711B (zh) * 2020-09-01 2021-11-16 珠海格力电器股份有限公司 图像文件转换方法、装置、电子设备和计算机可读介质
CN112884821B (zh) * 2021-02-05 2022-07-05 西南交通大学 一种超长列车模板图像制作方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701012B1 (en) 2000-07-24 2004-03-02 Sharp Laboratories Of America, Inc. Out-of-layer pixel generation for a decomposed-image layer
US7110137B2 (en) * 2002-04-30 2006-09-19 Microsoft Corporation Mixed raster content files
JP4363151B2 (ja) 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
JP2005202593A (ja) 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
JP4861711B2 (ja) * 2005-07-27 2012-01-25 株式会社リコー 画像処理装置、画像圧縮方法、画像圧縮プログラム及び記録媒体
JP4571066B2 (ja) * 2005-11-18 2010-10-27 株式会社リコー 画像処理装置及び画像読取装置
JP2007295130A (ja) * 2006-04-21 2007-11-08 Sharp Corp 画像データ符号化装置、プログラム、コンピュータ読み取り可能な記録媒体、及び画像データ符号化方法
JP4538514B2 (ja) * 2008-07-30 2010-09-08 シャープ株式会社 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体
JP4758493B2 (ja) * 2009-04-03 2011-08-31 シャープ株式会社 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体
JP2010273218A (ja) * 2009-05-22 2010-12-02 Sharp Corp 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5223792B2 (ja) * 2009-06-24 2013-06-26 富士ゼロックス株式会社 画像処理装置、撮影装置、撮影システムおよびプログラム
JP4856263B2 (ja) * 2009-08-07 2012-01-18 シャープ株式会社 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP2012074852A (ja) * 2010-09-28 2012-04-12 Sharp Corp 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラムおよび記録媒体
JP5819378B2 (ja) * 2013-09-30 2015-11-24 シャープ株式会社 画像判定装置、画像処理システム、プログラム及び記録媒体
JP6128092B2 (ja) * 2014-10-10 2017-05-17 コニカミノルタ株式会社 履歴生成装置及び履歴生成方法

Also Published As

Publication number Publication date
CN104683634A (zh) 2015-06-03
US9525868B2 (en) 2016-12-20
CN107948455A (zh) 2018-04-20
JP2015106742A (ja) 2015-06-08
CN104683634B (zh) 2019-01-08
US20150146020A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
JP5886265B2 (ja) 携帯端末装置、プログラム、及び記録媒体
JP5547243B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP4856263B2 (ja) 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5951367B2 (ja) 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
JP5026484B2 (ja) 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体
US8165402B2 (en) Image processing method, image processing apparatus, image forming apparatus and storage medium
JP4772889B2 (ja) 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体
JP2016038732A (ja) 情報処理装置、その制御方法およびコンピュータプログラム
JP4758493B2 (ja) 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体
CN107566684B (zh) 图像处理装置、图像处理方法及存储介质
JP2012027687A (ja) 画像処理装置及びプログラム
JP2011147085A (ja) 画像圧縮装置、圧縮画像出力装置、画像圧縮方法、コンピュータプログラム及び記録媒体
JP2008099149A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2018107593A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018042273A (ja) 画像処理装置および画像処理方法
US10992837B2 (en) Information processing apparatus, control method thereof, and storage medium
KR102311367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2017130811A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2014123881A (ja) 情報処理装置、情報処理方法、コンピュータプログラム
JP5819378B2 (ja) 画像判定装置、画像処理システム、プログラム及び記録媒体
US10846863B2 (en) Pixel binarization apparatus, method, and storage medium
JP6262102B2 (ja) 画像処理装置、画像処理システム、コンピュータプログラム及び記録媒体
JP2010273218A (ja) 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
US20090316998A1 (en) Outlining method for properly representing curved line and straight line, and image compression method using the same

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160210

R150 Certificate of patent or registration of utility model

Ref document number: 5886265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150