JP6624861B2 - 画像処理装置、制御方法およびプログラム - Google Patents
画像処理装置、制御方法およびプログラム Download PDFInfo
- Publication number
- JP6624861B2 JP6624861B2 JP2015183338A JP2015183338A JP6624861B2 JP 6624861 B2 JP6624861 B2 JP 6624861B2 JP 2015183338 A JP2015183338 A JP 2015183338A JP 2015183338 A JP2015183338 A JP 2015183338A JP 6624861 B2 JP6624861 B2 JP 6624861B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- unit
- imaging
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
- H04N1/00827—Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
- H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Image Input (AREA)
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Description
以下、本発明を実施するための形態について図面等を参照して説明する。
図1は、一実施形態に係るカメラスキャナ101が含まれるネットワーク構成を示す図である。
図1に示すように、カメラスキャナ101はイーサネット(登録商標)等のネットワーク104にてホストコンピュータ102およびプリンタ103に接続されている。図1のネットワーク構成において、ホストコンピュータ102からの指示により、カメラスキャナ101から画像を読み取るスキャン機能や、スキャンデータをプリンタ103により出力するプリント機能の実行が可能である。また、ホストコンピュータ102を介さず、カメラスキャナ101への直接の指示により、スキャン機能、プリント機能の実行も可能である。
図2は、一実施形態に係るカメラスキャナ101の構成例を示す図である。
図2(A)に示すように、カメラスキャナ101は、コントローラ部201、カメラ部202、腕部203、プロジェクタ207、距離画像センサ部208を含む。カメラスキャナの本体であるコントローラ部201と、撮像を行うためのカメラ部202、プロジェクタ207および距離画像センサ部208は、腕部203により連結されている。腕部203は関節を用いて曲げ伸ばしが可能である。
カメラ部202は単一解像度で画像を撮像するものとしてもよいが、高解像度画像撮像と低解像度画像撮像が可能なものとすることが好ましい。
また、図2に示されていないが、カメラスキャナ101は、LCDタッチパネル330およびスピーカ340をさらに含むこともできる。さらに、周囲の環境情報を収集するための人感センサ、照度センサ、加速度センサなどの各種センサデバイスを含むこともできる。
図3は、カメラスキャナ101の本体であるコントローラ部201のハードウェア構成例を示す図である。
図3に示すように、コントローラ部201は、システムバス301に接続されたCPU302、RAM303、ROM304、HDD305、ネットワークI/F306、画像処理プロセッサ307、カメラI/F308を含む。さらに、コントローラ部201は、ディスプレイコントローラ309、シリアルI/F310、オーディオコントローラ311およびUSBコントローラ312を含む。
カメラI/F308はカメラ部202および距離画像センサ部208と接続され、CPU302からの指示に応じてカメラ部202から画像データを、距離画像センサ部208から距離画像データを取得してRAM303へ書き込む。また、CPU302からの制御コマンドをカメラ部202およびへ送信し、カメラ部202および距離画像センサ部208の設定を行う。
ディスプレイコントローラ309はCPU302の指示に応じてディスプレイへの画像データの表示を制御する。ここでは、ディスプレイコントローラ309はプロジェクタ207およびLCDタッチパネル330に接続されている。
シリアルI/F310はシリアル信号の入出力を行う。ここでは、シリアルI/F310はターンテーブル209に接続され、CPU302の回転開始・終了および回転角度の指示をターンテーブル209へ送信する。また、シリアルI/F310はLCDタッチパネル330に接続され、CPU302はLCDタッチパネル330が押下されたときに、シリアルI/F310を介して押下された座標を取得する。
オーディオコントローラ311はスピーカ340に接続され、CPU302の指示に応じて音声データをアナログ音声信号に変換し、スピーカ340を通じて音声を出力する。
USBコントローラ312はCPU302の指示に応じて外付けのUSBデバイスの制御を行う。ここでは、USBコントローラ312はUSBメモリやSDカードなどの外部メモリ350に接続され、外部メモリ350へのデータの読み書きを行う。
図4は、CPU302が実行するカメラスキャナ101の制御用プログラム401の機能構成を示す図である。図5は、制御用プログラム401の各モジュールの関係を示すシーケンス図である。
カメラスキャナ101の制御用プログラムは前述のようにHDD305に格納され、CPU302が起動時にRAM303上に展開して実行する。
メイン制御部402は制御の中心であり、制御用プログラム401内の他の各モジュールを図5に示すように制御する。
データ管理部405は、制御用プログラム401の実行において生成した作業データなど様々なデータをHDD305上の所定の領域へ保存し、管理する。例えば、画像取得部416によって撮像され、スキャン処理部411により平面原稿/書籍/立体物に応じた形式で出力されたスキャンデータなどである。
図6(A)は、距離画像取得部408の処理を示すフローチャートである。また、図6(B)〜(D)は、パターン投射方式による距離画像の計測原理を説明するための図である。
図6(B)に距離画像センサ部208の構成を示している。距離画像センサ部208は赤外線によるパターン投射方式の距離画像センサである。赤外線パターン投射部361は対象物に、人の目には不可視である赤外線によって3次元測定パターンを投射する。赤外線カメラ362は対象物に投射した3次元測定パターンを読み取るカメラである。RGBカメラ363は人の目に見える可視光をRGB信号で撮影するカメラである。
ステップS602では、RGBカメラ363を用いて対象物を撮影したRGBカメラ画像623および、赤外線カメラ362を用いてステップS601で投射した3次元形状測定パターン622を撮影した赤外線カメラ画像624を取得する。なお、赤外線カメラ362とRGBカメラ363とでは設置位置が異なるため、図6(C)に示すように、それぞれで撮影される2つのRGBカメラ画像623および赤外線カメラ画像624の撮影領域が異なる。
ステップS604では、図6(D)に示すように、3次元形状測定パターン622とステップS603で座標変換を行った赤外線カメラ画像624間での対応点を抽出する。例えば、赤外線カメラ画像624上の1点を3次元形状測定パターン622上から探索して、同一の点が検出された場合に対応付けを行う。あるいは、赤外線カメラ画像624の画素の周辺のパターンを3次元形状測定パターン622上から探索し、一番類似度が高い部分と対応付けてもよい。
そこでステップS607では、図2(C)で上述したように、距離画像センサ座標系として得られた距離データを直交座標系における3次元点群に変換する。
図7は、ジェスチャー認識部409の処理を示すフローチャートである。
ジェスチャー認識部409が処理を開始すると、ステップS701で初期化処理を行う。初期化処理では、ジェスチャー認識部409は距離画像取得部408から距離画像を1フレーム取得する。ここで、ジェスチャー認識部の開始時は書画台204上に対象物が置かれていない状態であるため、初期状態として書画台204の平面の認識を行う。つまり、取得した距離画像から最も広い平面を抽出し、その位置と法線ベクトル(以降、書画台204の平面パラメータと呼ぶ)を算出し、RAM303に保存する。
ステップS721では、距離画像取得部408から距離画像と3次元点群を1フレーム取得する。
ステップS722では、書画台204の平面パラメータを用いて、取得した3次元点群から書画台204を含む平面にある点群を除去する。
ステップS731では、ステップS702で取得した3次元点群から、書画台204を含む平面から所定の高さ以上にある、肌色の3次元点群を抽出することで、手の3次元点群を得る。図8(A)の801は、抽出した手の3次元点群を表している。
図8(C)は、外形の曲率から指先を検出する方法を模式的に表したものである。804は、書画台204の平面に投影された2次元画像803の外形を表す点の一部を表している。ここで、804のような、外形を表す点のうち、隣り合う5個の点を含むように円を描くことを考える。円805、807が、その例である。この円を、全ての外形の点に対して順に描き、その直径(例えば806、808)が所定の値より小さい(曲率が大きい)ことを以て、指先とする。この例では隣り合う5個の点としたが、その数は限定されるものではない。また、ここでは曲率を用いたが、外形に対して楕円フィッティングを行うことで、指先を検出してもよい。
ステップS741では、ステップS703で検出した指先が1つかどうか判定する。指先が1つでなければステップS746へ進み、ジェスチャーなしと判定する。一方、検出した指先が1つであればステップS742へ進み、検出した指先と書画台204を含む平面との距離を算出する。
ステップS705では判定したジェスチャーをメイン制御部402へ通知し、ステップS702へ戻ってジェスチャー認識処理を繰り返す。
なお、ここでは一本指でのジェスチャー認識について説明を行ったが、複数の指あるいは複数の手でのジェスチャー認識に応用することも可能である。
図9は、物体検知部410の処理を示すフローチャートである。
物体検知部410が処理を開始すると、図9のステップS901の初期化処理において、ステップS911〜S913に示す初期化処理を行う。
ステップS911では、カメラ画像取得部407からカメラ画像を、距離画像取得部408から距離画像をそれぞれ1フレーム取得する。
ステップS921では、カメラ画像取得部407からカメラ画像を、距離画像取得部408から距離画像をそれぞれ1フレーム取得する。(以後の説明において、現フレーム画像と記載した場合には、本ステップで取得したカメラ画像と距離画像の両方を含むものとする。)
図10のステップS1001では、書画台背景画像との差分値を算出する。そこで、カメラ画像および距離画像それぞれにおいて、ステップS712で保存された書画台背景画像と、ステップS721で撮像された現フレーム画像との差分画像を生成し、2値化処理を行う。2値化処理後の背景差分画像中の黒画素部分は画像変化量がない部分、すなわち物体が存在していない部分であることを表している。また、白画素部分は画像変化量がある部分、すなわち物体が存在している部分であることを示している。
ステップS1008では、ステップS1001で検出された書画台背景画像の差分領域が、直前フレームで検出された物体と同一か否かを判定することで、新規物体か否かを判定する。すなわち、直前フレームでは検出されていない領域より検出された物体は、新規に書画台204上にフレームインした物体によるものと判断してステップS1009へ進む。一方で、直前フレームで検知されていた物体が分離・統合したことによる物体数の増減は、書画台204上に物体を載置するために手を放した、あるいは載置されていた物体を掴んだなどの要因によるものであると考えられる。そこで、ステップS1006へ進み、図22(D)に示すように、分離・統合した物体情報を書き込むことで状態管理テーブルを更新する。
ステップS1009では、ステップS1008のフレームイン判定結果を受け、物体フレームインイベントを発行する。そして、ステップS1006において、図22(B)に示すように、物体のフレームイン情報および物体の位置情報などを書き込むことで状態管理テーブルを更新して処理を終了する。
ステップS1011では、算出した差分値があらかじめ決めておいた所定値未満かどうかを判定する。算出した差分値が所定値以上であればステップS1006へ進み、図22(C)に示すように、状態管理テーブルの物体の位置情報などを更新して処理を終了する。一方、差分値が所定値未満であればステップS1012へ進む。
ステップS1014では、算出した差分値があらかじめ決めておいた所定値以上かどうかを判定する。算出した差分値が所定値未満の場合は、直前の静止状態から変化がないと判断され、ステップS1015へ進み、一方、差分値が所定値以上であればステップS1016へ進む。
一方で、ステップS1016では、ステップS1012およびステップS1014において、直前の静止状態とは異なる状態での物体静止であると判断されたことを受け、物体静止イベントを発行する。ステップS1017では、データ管理部405を介して、現フレームのカメラ画像および距離画像を、直前静止カメラ画像および直線静止距離画像としてHDD305に保存する。
ステップS1006では、ステップS1015およびステップS1016で発行された物体静止イベントを受け、図22(F)に示すように状態管理テーブルを更新する。
ステップS1005では、データ管理部405を介して、現フレームのカメラ画像および距離画像を、直前静止カメラ画像および直前静止距離画像としてHDD305にそれぞれ保存する。なお、本ステップにおいて、さらに現フレーム画像を書画台背景画像として更新しても構わない。
ステップS1006では、図22(G)に示すように、物体のフレームアウト情報を書き込むことで状態管理テーブルを更新する。あるいは、図22(A)に示すように状態管理テーブルを初期化しても構わない。
ステップS924では、データ管理部405を介して、S921で取得したカメラ画像および距離画像を前フレームカメラ画像および前フレーム距離画像としてHDD305に保存する。
ステップS925では、物体検知処理の終了判定を行い、終了判定がなされるまでステップS921〜ステップS925の処理を繰り返す。なお、システムの終了はUI画面上に投射表示された終了ボタン(図示なし)の操作、カメラスキャナ101の本体の電源ボタン(図示なし)の押下などにより行われ、メイン制御部402から通知されるものとする。
図11のフローチャートを用いて、スキャン処理部411が実行する平面原稿スキャン処理を説明する。図12(A)〜(J)は平面原稿スキャン処理を説明するための模式図である。
スキャン処理部411は平面原稿スキャン処理を開始すると、ステップS1101においてカメラ画像取得部407を介してカメラ部202からの画像を1フレーム取得する。ここで、カメラ部202の座標系は図2(B)で示したように書画台204に正対していないため、このときの撮影画像は図12(A)に示すように対象物1201、書画台204ともに歪んでいる。
ステップS1121において書画台背景カメラ画像とステップS1101で取得したカメラ画像との画素毎の差分を算出し、差分画像を生成した上で、差分のある画素が黒、差分の無い画素が白となるように2値化処理を行う。したがって、ここで生成した差分画像は、図12(B)の差分領域1202のように、対象物1201の領域が黒色である(差分がある)画像となる。
ステップS1122では差分領域1202を用いて、図12(C)のように対象物1201のみの画像を抽出する。
ステップS1124では、抽出した原稿領域画像に対してカメラ座標系から書画台204への射影変換を行い、図12(D)のように書画台204の真上から見た画像1203に変換する。ここで用いる射影変換パラメータは、事前のキャリブレーションにより得られたものを利用すればよい。なお、図12(D)に示したように、書画台204上への原稿の置き方により、ここで得られる画像1203は傾いていることがある。
そこで、ステップS1125では、画像1203を矩形近似してからその矩形が水平になるように回転し、図12(E)で示した画像1203のように傾きの無い平面原稿画像を得る。図12(F)に示すように、基準ラインに対しての矩形の傾きθ1およびθ2を算出し、傾きが小さい方(ここではθ1)を画像1203の回転角度として決定する。図12(G)および図12(H)に示すように、画像1203中に含まれる文字列に対してOCR(Optical Character Recognition)処理を行い、文字列の傾きから画像1203の回転角度の算出および天地判定処理をしてもよい。
図13は操作者1301による平面原稿スキャン操作の様子の一例を示している。図13(A)は使用開始時の様子、図13(B)〜図13(D)はスキャン対象物載置領域枠1303内へ平面原稿1304を載置する様子をそれぞれ示している。また、図13(E)は静止検知後に平面原稿スキャンが実行されている様子、図13(F)はスキャン後にプレビュー表示905がされている様子を示している。
図13の操作説明図と図14のシーケンス図を用いて、メイン制御部402が実行するUI表示制御処理について説明する。
メイン制御部402が処理を開始すると、図14のステップS1401において、メイン制御部402はユーザインタフェース部403に対し初期画面表示指示を行う。ユーザインタフェース部403は、プロジェクタ207によって初期画面を書画台204上へ投影表示させる。図13(A)にスキャン実行開始時のUI画面である初期画面の一例を示す。UI画面にはメッセージ1302、スキャン対象物載置領域枠1303が投影表示されている。
ステップS1402において、メイン制御部402は、物体検知部410における物体検知処理の開始指示を行う。物体検知部410は図9、図10を用いて前述した処理を行い、物体のフレームインや静止時、フレームアウト時にそれぞれのイベントをメイン制御部402へ通知する。
ステップS1405において、メイン制御部402はユーザインタフェース部403に対しスキャン開始画面表示指示を行う。図13(E)にスキャン実行時のUI画面の一例を示す。メッセージ1302を変更し、スキャン対象物載置領域枠1303表示を変更するなどの表示効果を加えたUI画面を投影表示する。
ステップS1407において、メイン制御部402はユーザインタフェース部403に対し、ステップS1406で得られたスキャン結果を提示するためのプレビュー画像表示指示を行う。図13(F)にプレビュー画像を表示したUI画面の一例を示す。ここでは、載置された平面原稿1304上に抽出した平面原稿画像1305を実寸サイズで重畳表示している。なお、プレビュー画像表示の仕方はこれに限るものではなく、例えば平面原稿1304以外の領域に表示させても構わない。また、実寸サイズに限らず、縮小・拡大して表示するなども可能である。
以上により、高解像度のカメラ画像における平面原稿スキャン結果を表示する前に、距離画像センサ部208中のRGBカメラ363で撮像された低解像度画像を利用した平面原稿スキャン結果のプレビュー表示が先行して行われる。これにより、操作者に不安感を抱かせないような即時性の高いUI表示を提供することができる。
実施形態1では、物体検知部410においてRGBカメラ画像から平面原稿画像を抽出すると、すぐにプレビュー画像表示を行っていた。その際、カメラの撮影が終わるよりも早く、図13(F)に示すように、平面原稿1304上にプレビュー画像を重畳表示してしまうと、カメラ画像中にプレビュー画像も映りこんでしまい、平面原稿画像の抽出に影響を及ぼすことがある。本実施形態では、このようなカメラ画像中へのプレビュー画像の映り込みを防止するための仕組みを提供する。
ステップS1101においてカメラ画像取得処理が実行されると、カメラ画像取得部407においてカメラ画像が撮影される。その際、カメラ部202の内部においては、指定されたシャッタースピードによりカメラ画像を撮像する露光処理を行う。続いてベイヤー配列で記録されたRAW画像をJPEGやTIFFのような画像形式に変換する現像処理を行う。その後、メモリへの記録や転送処理などが行われる。
メイン制御部402は、ステップS1501によりカメラ撮像完了通知を受信したことを受け、S1409においてユーザインタフェース部403へプレビュー画像表示指示を行う。
以上の処理により、カメラ画像の撮像中にステップS1408による平面原稿抽出処理が終了していたとしても、カメラ撮像完了通知を受信するまでプレビュー画像表示指示を遅らせることができる。これにより、カメラ画像中にプレビュー表示が映り込むという事態を防止することができる。
実施形態1〜2では、物体検知部410より物体静止イベントを通知すると、自動的に平面原稿スキャンが開始する仕組みを提供した。本実施形態では、平面原稿スキャン開始タイミングを指定するための仕組みを提供する。
図16は、本実施形態におけるメイン制御部402のフローチャートを示している。実施形態1〜2と同じ処理については同じステップ番号を付与し、詳細な説明は省略する。また、図17(A)〜(D)は、操作者1301による平面原稿スキャン操作の様子および表示画面の一例を示している。
そしてステップS1501においてカメラ撮像完了通知を受信すると、ステップS1601で、ユーザインタフェース部403へ、スキャンボタン(操作ボタン)表示指示を行う。
ユーザインタフェース部403は、図17(A)に示すようにスキャンボタン1701を表示し、スキャンボタンの押下を促すメッセージ1302に変更する。
ステップS1603において、メイン制御部402は、スキャンボタン押下通知を受信すると、ユーザインタフェース部403に対しスキャン開始画面表示指示を行う。スキャン開始画面では、図17(C)に示すように、スキャンボタン1701を非表示にし、スキャン中であることを示すメッセージ1302を表示すればよい。
なお、操作ボタンとしてスキャンボタンだけでなくプレビューボタンを表示し、プレビューボタンの押下により、ステップS1603におけるスキャン開始画面表示指示をせずに、ステップS1604におけるプレビュー画像表示指示のみを行っても構わない。
実施形態3では、スキャンボタンを押下後に平面原稿スキャンが実行され、プレビュー表示されるように見せかけることで、平面原稿スキャン処理が高速に行われているかのような効果を与える仕組みを提供した。本実施系では、スキャンボタン押下前に平面原稿を動かしたり、取り除いたりした場合への対応する仕組みを提供する。
図18に本実施形態におけるメイン制御部402のフローチャートを示す。実施形態1〜3と同じ処理については同じステップ番号を付与し、詳細な説明は省略する。
操作者1301は、スキャンボタン1701を押下する前に、書画台204上の平面原稿1304を取り除いたり、移動させたりするために手を挿入することもある。その際、ステップS1801において、物体検知部410より物体フレームインイベントがメイン制御部402へ通知される。
メイン制御部402は、物体フレームインイベントを受け、ステップS1802においてスキャン処理部411へ平面原稿スキャン中止通知を送信する。スキャン処理部411は、平面原稿スキャン中止通知を受信すると、その後の処理をすべて中止してメイン制御部402へ中止完了通知を送信する。
その後、物体検知部410が物体静止を再検知すると、ステップS1404において物体静止検知通知を行い、再び前述した平面原稿スキャン処理やプレビュー画像表示といった処理が実行されることになる。
第1〜第4実施形態においては、操作者1301が載置した平面原稿1304をスキャンし、効率よくプレビュー表示をするための仕組みを提供した。本実施形態では、平面原稿1304の一部分に対して処理を行う際の領域指定を行うための仕組みとプレビュー表示の仕組みを提供する。
図19は、本実施形態におけるメイン制御部402のフローチャートを示している。実施形態1〜4と同じ処理については同じステップ番号を付与し、詳細な説明は省略する。
図20(A)〜(F)は、操作者1301が平面原稿1304中の特定領域に対して所定の処理をかける際の処理対象領域の指定操作の様子と、その表示画面の一例を示している。
ステップS1501においてカメラ撮像完了通知を受信すると、メイン制御部402は、ステップS1901において、ユーザインタフェース部403に対して処理対象領域指定画面表示の指示を行う。
操作者1301は図20(C)に示すように、OCR対象となる領域2001を指定する。すると、ユーザインタフェース部403は、操作者1301が指定した処理対象領域の位置情報をメイン制御部402へ通知する。
図20(D)に示すように操作者1301が実行ボタン2002を押下すると、ジェスチャー認識部409がタッチ操作を検知し、ユーザインタフェース部403によって実行ボタンの押下を検知する。そして、ステップS1904において、メイン制御部402へ実行ボタン押下イベントを通知する。そして、図20(E)に示すように、スキャン処理やOCR処理の実行中であるメッセージ1302を表示し、実行ボタン2002を非表示にする。
ステップS1906では、ステップS1905で算出したカメラ画像上での処理対象領域の位置情報をスキャン処理部411へ通知する。
ステップS1908において、ユーザインタフェース部403は、メイン制御部402より処理結果表示指示を受信すると、図20(F)に示すように、OCR処理が行われた領域2003をハイライト表示し、OCR処理結果2004を表示する。
なお、ここでは処理対象領域に対してOCR処理を実行する場合を例に説明したが、処理対象領域に対して行う処理はこれに限るものではない。例えば、指定した対象領域に対して、トリミング処理して部分スキャンしたり、マスキング処理により所定の色で塗りつぶしたりするなどを行っても構わない。
第5実施形態では、低解像度のスキャン結果を利用して処理対象領域の指定を行う仕組みを提供した。しかしながら、低解像度画像上での処理対象領域を高解像度画像上へ座標変換を行うだけでは、低解像度画像上での範囲指定の精度が低いことや、座標変換時の投影誤差などの影響により、実際の処理対象領域とはずれてしまうことがある。本実施形態では、高解像度画像上において処理対象領域を補正する仕組みを提供する。
図21を用いて、本実施系における処理対象領域補正処理について説明する。
そこで、ステップS1103において、抽出された平面原稿画像に対する領域分割処理を行い、その結果を基にして処理対象領域を補正する。
図21(C)に示すように、文章2141〜2143の少なくとも一部分が処理対象領域2104中に含まれている。文章2141および文章2142は行頭から選択されていて、行末の一部が処理対象領域外に存在する。一方で文章2143は、文頭は処理対象領域外であるが、行末に向かうにつれ、処理対象領域に含まれていくことが分かる。ここで、行頭から選択されている連続した文章については、行末まで処理対象領域として修正する。一方で、連続した文章において行頭が選択されていない文章においては処理対象領域外として設定する。あるいは文章中の文字列が処理対象領域として含まれる割合が閾値以上であるかなどを考慮し、処理対象領域として含めるか否かを決定しても構わない。
このような補正処理を行うことで、図21(D)に示すように補正された処理対象領域2105を得ることができる。なお、文章に関してはさらに形態素解析を行い、文/文節/単語といった構造まで分析し、補正処理に利用してもよい。
なお、ここでは領域分割の結果を用いた補正方法についての一例で説明を行ったが、補正の方法はこれに限るものではない。
第1〜第6実施形態では、書画台204上に平面原稿が載置されると、平面原稿スキャン処理が実行されプレビュー表示を行う処理について説明したが、スキャン対象は平面原稿に限るものではなく、書籍や立体物などでも構わない。すなわち、スキャン処理部411において、対象物に合わせて平面原稿スキャン処理/書籍スキャン処理/立体物スキャン処理を実行し、同様のプレビュー表示制御を実施すればよい。
201 コントローラ部
202 カメラ部
204 書画台
207 プロジェクタ
208 距離画像センサ部
Claims (9)
- 物体を撮像し、撮像時間が異なる複数のフレーム画像を取得する第1の撮像手段と、
前記複数のフレーム画像により前記物体の静止を検知する検知手段と、
前記物体の静止を検知したことに応じて、前記物体を撮像し、画像を取得する第2の撮像手段と、
前記第2の撮像手段によって取得された画像を補正し、補正画像を生成する画像生成手段と、
前記補正画像が生成されるまでは、前記複数のフレーム画像のうち、前記物体の静止を検知したフレーム画像を表示し、前記補正画像が生成されたことに応じて前記補正画像を表示する表示手段と、
を備えることを特徴とする画像処理装置。 - 前記表示手段は、前記第2の撮像手段による撮像が終了してから、前記物体の静止を検知したフレーム画像を表示する
ことを特徴とする請求項1に記載の画像処理装置。 - 操作に関する情報を表示する操作情報表示手段をさらに備え、
前記操作情報表示手段は、前記第2の撮像手段による撮像が終了してから操作ボタンを表示し、
前記検知手段は、前記物体の動きを検知し、
表示されている前記操作ボタンが押下されるまでに前記検知手段が前記物体の動きを検知した場合、
前記操作情報表示手段は、前記操作ボタンを非表示にし、
前記画像生成手段は、前記第2の撮像手段によって取得された画像の補正を中止する
ことを特徴とする請求項1に画像処理装置。 - 前記表示手段により表示された前記物体の静止を検知したフレーム画像上で行われた領域指定の座標位置を、前記補正画像上の座標位置に変換する変換手段をさらに備え、
前記画像生成手段は、変換した前記座標位置をもとに対象領域を抽出する
ことを特徴とする請求項1ないし3のいずれか1項に記載の画像処理装置。 - 前記画像生成手段は、前記対象領域において、少なくとも、OCR処理、トリミング処理、マスキング処理のうち、いずれかを実行する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記画像生成手段は、さらに、前記対象領域に基づき前記補正画像上に補正された対象領域を生成する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記対象領域が文章である場合、
前記画像生成手段は、行頭が前記対象領域に含まれている行、もしくは、前記対象領域に含まれている文字列の割合が閾値以上である行を前記補正された対象領域とする
ことを特徴とする請求項6に記載の画像処理装置。 - 画像処理装置の制御方法であって、
物体を撮像し、撮像時間が異なる複数のフレーム画像を取得する第1の撮像工程と、
前記複数のフレーム画像により前記物体の静止を検知する検知工程と、
前記物体の静止を検知したことに応じて、前記物体を撮像し、画像を取得する第2の撮像工程と、
前記第2の撮像工程によって取得された画像を補正し、補正画像を生成する画像生成工程と、
前記補正画像が生成されるまでは、前記複数のフレーム画像のうち、前記物体の静止を検知したフレーム画像を表示し、前記画像生成工程において前記補正画像が生成されたことに応じて前記補正画像を表示する表示工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 請求項8に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015183338A JP6624861B2 (ja) | 2015-09-16 | 2015-09-16 | 画像処理装置、制御方法およびプログラム |
US15/264,106 US10270929B2 (en) | 2015-09-16 | 2016-09-13 | Image processing apparatus, control method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015183338A JP6624861B2 (ja) | 2015-09-16 | 2015-09-16 | 画像処理装置、制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017060007A JP2017060007A (ja) | 2017-03-23 |
JP6624861B2 true JP6624861B2 (ja) | 2019-12-25 |
Family
ID=58237525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015183338A Expired - Fee Related JP6624861B2 (ja) | 2015-09-16 | 2015-09-16 | 画像処理装置、制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10270929B2 (ja) |
JP (1) | JP6624861B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111147754B (zh) * | 2019-12-31 | 2021-06-29 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5818612A (en) * | 1994-11-29 | 1998-10-06 | Nec Corporation | Scanning method and apparatus for pre-scanning document to allow manual adjustment of its orientation |
JP2001218097A (ja) * | 2000-02-02 | 2001-08-10 | Canon Inc | 画像入力装置、その制御装置及び制御方法 |
JP4208122B2 (ja) * | 2003-03-20 | 2009-01-14 | 株式会社リコー | データ処理装置及びデータ処理方法 |
JP4321299B2 (ja) * | 2004-02-23 | 2009-08-26 | ブラザー工業株式会社 | 画像入力装置 |
JP2007180787A (ja) * | 2005-12-27 | 2007-07-12 | Brother Ind Ltd | スキャナ制御プログラム、スキャナ制御装置、及びスキャナ装置 |
JP4811249B2 (ja) * | 2006-11-30 | 2011-11-09 | 富士ゼロックス株式会社 | 遠隔指示システム |
US9803227B2 (en) * | 2012-07-20 | 2017-10-31 | Palo Alto Investors | Methods for producing biological materials |
JP6052997B2 (ja) * | 2013-02-28 | 2016-12-27 | 株式会社Pfu | オーバヘッドスキャナ装置、画像取得方法、および、プログラム |
JP6327931B2 (ja) | 2014-05-02 | 2018-05-23 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
-
2015
- 2015-09-16 JP JP2015183338A patent/JP6624861B2/ja not_active Expired - Fee Related
-
2016
- 2016-09-13 US US15/264,106 patent/US10270929B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017060007A (ja) | 2017-03-23 |
US20170078528A1 (en) | 2017-03-16 |
US10270929B2 (en) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6327931B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
US10310675B2 (en) | User interface apparatus and control method | |
US10291843B2 (en) | Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium | |
EP3185106A1 (en) | Operating apparatus, control method therefor, program, and storage medium storing program | |
JP6399840B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6381361B2 (ja) | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム | |
JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
US9924066B2 (en) | Image processing apparatus, information processing method, and program | |
JP2019020307A (ja) | 計測装置、計測装置の制御方法およびプログラム | |
JP2018112894A (ja) | システムおよび制御方法 | |
JP2017126225A (ja) | 画像処理装置、方法およびプログラム | |
JP6746419B2 (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
JP6624861B2 (ja) | 画像処理装置、制御方法およびプログラム | |
JP2015198406A (ja) | 画像読取装置、方法およびプログラム | |
JP2017199288A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019016843A (ja) | 原稿読取装置、原稿読取装置の制御方法、及びプログラム | |
JP2017162126A (ja) | 入力システム、入力方法、制御用プログラム、及び記憶媒体 | |
US10116809B2 (en) | Image processing apparatus, control method, and computer-readable storage medium, which obtains calibration image information with which to correct image data | |
JP2019120618A (ja) | 物体測定装置及びその制御方法、並びにプログラム | |
JP2017073039A (ja) | 物体識別装置、物体識別方法及びプログラム | |
JP2016139396A (ja) | ユーザーインターフェイス装置、方法およびプログラム | |
JP2018191258A (ja) | 画像読取装置、画像読取方法及びプログラム | |
JP2017117372A (ja) | 操作装置とその制御方法、及びプログラム | |
CN113723416B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
JP6203070B2 (ja) | スキャンシステムおよびその制御方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6624861 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |