JPH0983789A

JPH0983789A - 映像入力装置

Info

Publication number: JPH0983789A
Application number: JP7240167A
Authority: JP
Inventors: Makoto Senda; 誠千田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-09-19
Filing date: 1995-09-19
Publication date: 1997-03-28

Abstract

(57)【要約】【課題】取り込んだ画像に含まれる文字情報をテキス
トデータに変換することが可能な映像入力装置の提供。【解決手段】カメラ部１より入力された静止画像情報
は、映像入力処理部３で画像処理され画像データとして
映像メモリ部４に記憶され、蓄積部６に蓄積される。ま
た、画像データは、画像判定部３０により各画素毎、或
はその領域を分割した各画像ブロック毎に文字を含む領
域を持つかどうかを判定される。文字を含む場合は、文
字認識部３１において順次テキストデータに変換され
る。変換されたテキストデータは、グラフィック合成部
１３にて画像データと関連付けられて合成され、蓄積部
６に記憶される。また、モニタ１６で表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、取り込んだ画像に
含まれる文字情報をテキストデータに変換することが可
能な映像入力装置に関する。

【０００２】

【従来の技術】従来、映像入力装置におけるカメラ部が
有する有効入力画素は、略４０万画素程度であり、高精
細画像の静止画像をそのまま扱うほど解像度は高くな
い。また、このカメラで撮像された画像は、標準の映像
信号、例えば、ＮＴＳＣ，ＰＡＬ，ＳＥＣＡＭ等による
出力が一般的である。このため、従来のカメラにより高
画質な静止画像を得るには、取り込む画面の全体を複数
の画面に分割し、取り込んだ後に各分割画面を合成する
ことにより高画質な静止画像を得るのが一般的である。
以下に上記の従来例としての映像入力装置の構成及び動
作処理を図１６、図１７を参照して説明する。

【０００３】図１６は、従来例としての映像入力装置の
ブロック構成図である。

【０００４】図中、１０１は、人物や書画に使用するカ
メラ部、１０２は、カメラ部１０１の撮像範囲を移動さ
せるための駆動部、１０３は、カメラ１０１で入力され
た映像信号を映像データに変換する処理を行う映像入力
処理部、１０４は、変換された映像データを記憶するた
めの映像メモリ部、１０５は、映像の入力から出力する
までの処理を制御する全体制御部、１０６は、映像デー
タを格納する蓄積部、１０７は、装置の調整やカメラ部
１０１の駆動部１０２の操作を行なう操作部、そして１
０８は、映像データを表示するモニタである。

【０００５】この構成において、まず、全体制御部１０
５の指示により駆動部１０２を駆動し、カメラ１０１の
撮像領域を所定の位置に合わせる。次に、カメラ１０１
から入力された映像信号が映像入力処理部１０３を経由
して映像データとなる。映像入力処理部１０３は、入力
された映像信号がＮＴＳＣやＰＡＬなどのコンポジット
信号であれば、輝度信号（以下、Ｙ信号）と色差信号
（以下、Ｃ信号）とにＹＣ分離し、更にＣ信号をＣｒ、
Ｃｂ信号に色差分離して、Ｙ信号、Ｃｒ信号、Ｃｂ信号
とし、その後Ａ／Ｄ変換する。更に、色空間変換が必要
であれば、Ｒ信号、Ｇ信号、Ｂ信号に色空間変換する処
理が施される。また、フォーマット変換、解像度変換、
拡大／縮小等が必要であれば、画素密度の変換処理やそ
れに伴うフィルタ等による補間処理が施される。このよ
うな映像処理により得られた映像データを、分割された
画面分繰返し、映像メモリ部１０４の所定の領域に順次
記憶し、これらの各画面の映像データを張り合わせて合
成する。このようにして一つの高画質な静止画像データ
が得られるわけである。合成された高画質な静止画像デ
ータは、全体制御部１０５により蓄積部１０６に格納さ
れ、表示が必要な場合はモニタ１０８に転送され表示さ
れる。前記の動作処理を図１７のフローチャートに示
す。

【０００６】図１７は、従来例としての静止画像の入力
処理を示すフローチャートである。

【０００７】図中、操作部１０７にて静止画像の入力が
要求されているか否かを判断し（ステップＳ１０１）、
静止画像の入力でない場合には、カメラ部１０１から動
画像の入力を行い、その入力した動画像をモニタ１０８
へ転送し表示する（ステップＳ１１２〜ステップＳ１１
３）。一方、静止画像の入力の場合には、取り込む静止
画像の解像度を設定する（ステップＳ１０２）。通常の
カメラが撮像可能な領域における撮像能力は、例えば、
ＮＴＳＣの場合には、水平７６８画素×垂直４９４ライ
ンであり、ＰＡＬの場合には、水平７５２画素×垂直５
８２ラインであり、上記の撮像能力を撮像対象物の寸法
で割ったものが解像度となる。ここで、解像度を向上さ
せために、撮像対象物の分割画面数をｎ個に設定する
（ステップＳ１０３）。ステップＳ１０４〜ステップＳ
１０９は、分割画面の入力ルーチンであり、画面の分割
数ｎに合わせて、カメラ部１０１の駆動部１０２を駆動
し、最初の撮像領域位置に合わせる。その後、カメラ部
１０１からその撮像領域の映像を入力し、映像入力処理
部１０３で処理した後、メモリ入力制御部１０４の所定
の領域に記憶する。この処理を、撮像領域と映像メモリ
部１０４のメモリ空間とを順次変更しながらｎ回繰り返
すことで静止画像の高画質な入力、蓄積、表示が可能と
なっている。

【０００８】

【発明が解決しようとする課題】しかしながら上記従来
例において、高画質な静止画像を取り込むには、画面全
体を高画質な静止画像で取り込む必要があった。このた
め撮像対象物によっては、画面全体の１部分しか高画質
な画像を必要としないため、結果的にそれ以外の部分の
高画質な画像データとそれを得るための装置の処理時間
とが無駄になるという問題があった。また、文書や文字
を含む撮像対象を画像データで取り込んだ場合、その部
分も画像データとして扱われるため、テキストデータと
して記憶するよりもかなり大きな記憶容量が必要とさ
れ、必要に応じて再度テキストデータとして入力しなけ
ればならないという問題があった。

【０００９】そこで本発明は、取り込んだ画像に含まれ
る文字情報をテキストデータに変換することが可能な映
像入力装置の提供を目的とする。

【００１０】

【課題を解決するための手段】上述の目的を達成するた
めの本発明の映像入力装置の構成として、以下の特徴を
備える。

【００１１】即ち、撮像領域を移動可能なカメラ部を備
え、そのカメラ部で撮像した画像を静止画像として取り
込む映像入力装置において、前記静止画像が有する画像
特性のうち文字特性を有する領域を判別する画像判別手
段と、前記文字特性を有する領域を分割する文字領域の
分割手段と、前記文字領域の分割手段により分割された
文字領域毎に文字の認識をする文字認識手段と、前記文
字認識手段により認識された文字をコード変換するコー
ド変換手段と、を備えたことを特徴とする。これによ
り、画像データに含まれる文字領域をテキストデータ等
の個々の文字コードに変換する。

【００１２】更に、前記文字認識手段により文字認識で
きない領域を抽出し、その抽出された領域に対して文字
の認識が可能になるまで変倍倍率を大きくする抽出領域
の変倍手段を備え、その変倍後の領域を前記文字認識手
段により改めて文字認識することを特徴とする。また
は、前記文字認識手段により文字認識できない領域を抽
出し、その抽出された領域に対して文字の認識が可能に
なるまで解像度を高くする高解像度化手段を備え、その
解像度を高くされた領域を前記文字認識手段により改め
て文字認識することを特徴とする。または、前記抽出領
域の変倍手段と、前記高解像度化手段とを備え、その変
倍後及び／または高解像度化処理後の領域を前記文字認
識手段により改めて文字認識することを特徴とする。こ
れらにより、撮像時点の画質では文字の認識ができない
領域だけ画質の向上を施す。

【００１３】更に、前記コード変換手段によりコード化
された文字を、前記静止画像または前記文字領域と関連
付けし、合成する第１の合成手段を備えたことを特徴と
する。または、前記文字認識手段により文字認識できな
い領域を、前記静止画像または前記文字領域と関連付け
し、合成する第２の合成手段を備えたことを特徴とす
る。これらにより、文字領域のデータをコードとして扱
える静止画像データを生成する。

【００１４】

【発明の実施の形態】以下、本発明の実施形態を図面を
参照して詳細に説明する。

【００１５】＜第１の実施形態＞はじめに、本発明の第
１の実施形態である画面合成による高解像度映像入力装
置を図面を参照して説明する。

【００１６】図１は、本発明の第１の実施形態としての
画面合成による高解像度映像入力装置のブロック構成図
である。

【００１７】図中、１は、人物や書画に使用するカメラ
部、２は、カメラ部１の撮像範囲を移動させるための駆
動部、３は、カメラ１で入力された映像信号を映像デー
タに変換する処理を行う映像入力処理部、４は、変換さ
れた映像データを記憶するための映像メモリ部、５は、
映像の入力から出力するまでの処理を制御する全体制御
部、６は、映像データを格納する蓄積部、７は、装置の
調整やカメラ部１の駆動部２の操作を行なう操作部、１
１は、ズーム機能により倍率を上げて撮像サイズを小さ
くすることで解像度を向上させる機能と、レンズを用い
た光軸可変機能によりＣＣＤの各素子の撮像範囲より微
小に光軸をずらすことで解像度を向上させる機能を有す
るレンズ部、１２は、全体制御部５からの指示によりレ
ンズ部１２に対して倍率や光軸のズレ量を制御するレン
ズ制御部、１３は、映像メモリ部４から出力された画像
データとグラフィックデータメモリ部からのグラフィッ
クデータを合成するグラフィック合成部、１４は、全体
制御部からのグラフィックデータを格納するグラフィッ
クメモリ部、１５は、グラフィック合成部からの映像信
号を表示部に表示させるための信号に変換処理する映像
出力処理部、１７は、映像入力処理部から出力される画
像データを複数の画面取り込んで合成する映像合成処理
部、１８は、映像合成処理部の制御により複数の画面の
映像データを記憶する映像合成メモリ部である。尚、第
１の実施形態の装置において、レンズ部１１及びレンズ
駆動部１２は備えない構成であってもよい（後述の第２
の実施形態では必須である）。

【００１８】次に、カメラ部１について図３を参照して
説明する。

【００１９】図３は、本発明の第１の実施形態としての
カメラ部１の内部ブロック図である。

【００２０】図中、２０１は、絞りシャッタ、２０２
は、光学的ローパスフィルタ、２０３は、不図示の同期
信号発生部からの同期信号に同期して光電交換素子２０
４を駆動するＣＣＤドライバ、２０４は撮像された対象
物の光信号を受光して電気信号に変換して出力する光電
変換素子、２０５は、光電変換素子から出力された信号
を増幅する自動ゲインコントロール部（ＡＧＣ）、２０
６は、光電変換素子からの信号により絞り量を測定する
ための絞り測光回路、２０７は、絞り測光回路により絞
りシャッターを駆動して絞りを調整するアイリス駆動
部、２０８は、光軸を微小移動して画素ずらしを行う平
行平板、２０９は、光電変換素子から出力される信号の
出力方法を制御するフィールド読み出し制御部、２１０
は、ローパスフィルタ２０２を抜き差しするためのロー
パスフィルタ駆動部、２１１は、平行平板２０８の光軸
ずらしを制御する平行平板駆動部である。

【００２１】尚、第１の実施形態の装置において、平行
平板２０８及び平行平板駆動部２１１は備えない構成で
あってもよい（後述の第２の実施形態では必須であ
る）。また、ローパスフィルタ駆動部２１０は、平行平
板２０８及び平行平板駆動部２１１を備えない場合は不
要であり、その場合はローパスフィルタ２０２を付けた
ままの構成とする。

【００２２】上述のように、カメラ部１により撮像され
た光情報が、電気信号に変換されて出力されており、絞
り調整やゲイン調整により、その出力レベルが適正な範
囲に入るように自動調整されている。ここで、カメラ部
１から出力される信号は、動画像と静止画像の各々に適
した信号を出力可能な構成をしており、操作部７におけ
るオペレータの要求に応じて、動画像モード／静止画像
モードの切り換えが可能である。

【００２３】次に、出力信号のモードについて、図５及
び図６を参照して説明する。

【００２４】図５は、本発明の第１の実施形態としての
光電変換素子２０４の素子上のフィルタ配列を示す図で
ある。

【００２５】図中、Ｃｙ（シアン）、Ｙｅ（イエロ
ー）、Ｇ（グリーン）、Ｍｇ（マゼンダ）の各フィルタ
が、図５のような配列で配置されており、補色市松配列
と呼ばれている（但し、Ｇは補色ではなく原色であ
る）。この配列は、原色であるＲ（レッド）、Ｇ（グリ
ーン）、Ｂ（ブルー）のフィルタを通して受光するより
も、補色であるＣｙ，Ｙｅ，Ｍｇのフィルタを通して受
光するほうが、各補色に対して、原色が２色混合されて
受光されるので、それだけ多くの情報が得られ感度が良
くなる。ＧとＭｇの配列は、１ラインごとに交互に配列
されており、更に、フィルタ配列の上下のフィルタの信
号を加算して出力されるため、カメラ部１から出力され
る信号は図６のフィールド読み出しモードに示すように
なる。

【００２６】図６は、本発明の第１の実施形態としての
フィールド読み出しにおけるフィルタ配列を示す図であ
る。

【００２７】図中、奇数ラインは、Ｃｙ＋Ｇ、Ｙｅ＋Ｍ
ｇを繰り返し、偶数ラインは、Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇを
繰り返す。ここで、Ｙ信号とＣ信号は、下式により得ら
れるようにフィルタ特性が設定されている。Ｙ＝｛（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）｝×１／２Ｒ−Ｙ＝｛（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）｝ −（Ｂ−Ｙ）＝｛（Ｙｅ＋Ｇ）−（Ｃｙ＋Ｍｇ）｝よって、映像入力処理部３では、上記のような加減算を
付加することで、Ｙ信号とＣ信号の生成処理が行われて
いる。即ち、動画像処理或は画面を空間的に分割して静
止画像処理する場合には、上記のようなフィールド読み
出しのモードが使用されるわけである。

【００２８】次に、映像入力処理部３について図４を参
照して説明する。

【００２９】図４は、本発明の第１の実施形態としての
映像入力処理部３の内部ブロック図である。

【００３０】図中、３０１は、水平ライン２ライン分の
遅延回路で、カメラ部１からの信号に対して、遅延無
し、１ライン遅延、２ライン遅延の信号を出力する。出
力信号自体は図６に示した構成と同様である。３０２
は、遅延回路３０１からの出力信号の奇数番目と偶数番
目とを加算することによりＹ信号を生成し、遅延回路に
より生成した３ライン分の信号を利用して、水平／垂直
のアパーチャ補正の処理を行なう水平／垂直アパーチャ
補正部、３０３は、水平／垂直アパーチャ補正部から出
力されたＹ信号にガンマ補正処理を施すガンマ補正部、
３０４は、遅延回路３０１からの３ライン分の信号を利
用して、各信号の奇数番目と偶数番目とを加減算するこ
とによりＹ信号、Ｃｒ（Ｒ−Ｙ）信号、Ｃｂ（Ｂ−Ｙ）
信号を生成する同期検波部、３０５は、ＹＣｒＣｂ信号
をＲＧＢ信号に色変換するマトリクス変換を施すＲＧＢ
マトリクス変換部、３０６は、撮像時の光源の色温度の
変化に対してＲＧＢの色再現性を一定に保つため、ＲＧ
Ｂ信号を合成して得られる白レベルが、基準となる白レ
ベルとなるようにＲＧＢ信号に調整を施すホワイトバラ
ンス調整部、３０７は、ＲＧＢ信号にガンマ補正処理を
施すガンマ補正処理部、３０８は、ＲＧＢ信号をＣｒ
（Ｒ−Ｙ）信号とＣｂ（Ｂ−Ｙ）信号に色変換する色差
マトリクス変換部である。つまり、この映像入力処理部
３は、カメラ部１から受信した光情報の電気信号をＹ，
Ｕ，Ｖ信号の映像情報に変換して出力しており、アパー
チャ補正やガンマ補正、色信号に対してはホワイトバラ
ンス調整を施し、その映像情報を適正なレベルへの自動
調整を行なう。

【００３１】次に、画面合成による高解像度映像入力装
置が撮像対象を高画質で入力する際の映像の入力方法に
ついて、図９を参照して説明する。

【００３２】図９は、本発明の第１の実施形態としての
画面分割による映像の入力を示す図である。

【００３３】図９において、画面合成による高解像度映
像入力装置は、撮像対象を高画質で入力するために、駆
動部２を駆動することでカメラの撮像領域を上下左右に
移動させ、分割された画面ごとに映像を取り込んでいる
（図９の例では、○印の画像領域が映像データとして取
り込まれた場合を示す）。また、撮像領域を分割する駆
動モータの制御については、現在の駆動モータは十分に
高精度なので実現は容易である。しかし、装置内部にお
ける分割されて入力された画面の合成については、合成
画面間の境界が不連続であり、また個々の分割画面は取
り込んだ時間が微妙に異なるため、そのまま合成すると
不自然な画像となる。そこで、時間的なずれによる個々
の分割画面の合成時の影響を極力押さえるため、（１）その間は一定の環境にするか、複数の分割画面の
境界付近の映像信号の状態を記憶しておき、境界付近が
お互い同一のレベルになるように映像信号を調整する。（２）複数の分割画面の境界付近をダブらせて映像入力
しパターンマッチングさせる。（３）映像を取り込む際の画面ゆがみを補正するなどの
処理を施して合成する。等の手法を利用して境界の不連続さを解決し、良好な静
止画像を得ることが可能となる。

【００３４】次に、画像判定部３０について説明する。
画像判定部３０は、撮像領域を各画素毎、或はその領域
を分割した各画像ブロック毎に文字等の領域であるか否
かを判定し、その判定結果を全体制御部５に知らせるも
のである。以下にその判定方法について説明する。

【００３５】（１）まず、判定方法の一つに、その画像
が持つ周波数成分により判別する方法がある。例えば、
自然画像では、平坦な部分が多く見られるので周波数成
分で比較すると低周波成分に集中した傾向が見られる。
また、文字や図形などでは、輪郭部分が多く、この輪郭
を更に際立てるためにコントラストも高いので、周波数
成分で比較すると、高周波成分が自然画像の場合よりも
多い傾向が見られる。更に、木目の細かい模様等では、
文字や図形よりも細かいパターンになるので文字や図形
の時の周波数成分よりも更に多くの高周波成分が見られ
る。これらの性質によって、自然画像であるか文字や図
形であるかを、その画像が有する周波数成分を調べるこ
とにより判別が可能である。具体的には、空間／周波数
変換（ＦＦＴ，ＤＣＴ等）により、画像領域を周波数成
分に分解し、各周波数成分の値を抽出して上記の判別基
準により低周波成分のしきい値を設定し、そのしきい値
より小さい場合には自然画像、大きい場合には文字や図
形等であるという判定をする。この方法は判別方法とし
ては優れているが、かなり複雑で規模の大きな処理が必
要となる。

【００３６】（２）次の方法は、画像データのばらつき
によって判定しようとする方法であり、対象となる各画
像の平均値と各画像の値との差の絶対値を累積加算して
判定する方法がある。この場合にも、その累積加算した
結果の値が小さいと、急激な変化が少なく平坦であると
判断され自然画に近いと判断される。差が大きい場合
は、文字や図形や模様のようにコントラストが大きく急
激な変化があったと見なせるわけである。

【００３７】またもう一つの方法は、画像の標準偏差を
利用して判定する方法である。

【００３８】γ＝γ＋（各画素値−各画素値の平均）＾
２（但し、＾２は２乗を表わす）という式を用いて、対象となる画素の平均値と画素値と
の差の２乗を累積加算して判別する。この場合、標準偏
差が小さいと急激な変化が少なく平坦であると判断され
自然画に近いと判断される。標準偏差が大きいと、文字
や図形や模様のようにコントラストが大きく急激な変化
があったと見なせる。この判断基準でしきい値を設定
し、その値より小さい場合には自然画像とし、大きい場
合には文字や図形等と判断する。この方法の場合には、
演算処理が単純で高速で処理することが可能である。但
し、周波数成分による方法と比べると精度は落ちる。

【００３９】（３）更に、画像内に存在するエッジ等を
検出して判定する方法がある。つまり、エッジが多く存
在する部分は、文字や図形であると判別できる。逆に、
エッジが少ない場合には、自然画像であると判別でき
る。具体的な判別方法としては、差分フィルタ等により
局所的なモード変化を検出する方法があり、線形１階差
分のソーベルオペレータや２階差分のラプラシアン等の
差分フィルタで画像データに対して重み付け処理（マス
ク）して、その値（絶対値）が大きい場合には、その画
像領域内にエッジが存在すると判別する。これにより、
画像ブロック内にあるエッジ数をしきい値として設定
し、そのしきい値より小さい場合には自然画像と判別
し、そのしきい値より大きい場合には文字・図形等と判
別する。

【００４０】また、自然画像領域の判別精度を向上させ
る方法としては次のような方法がある。まず、エッジ検
出により画像の特性が変化する境界を検出し、ある画像
の輪郭を抽出することで上記の判別により画像特性の異
なる境界を明確にする。例えば、ある文章に画像や図形
がはめ込まれている場合などは、そのはめ込んだ境界付
近では画像の特性に大きな変化があらわれるので境界を
明確に定めて分割することが可能になる。また、細線化
処理による輪郭検出方法もある。

【００４１】次に、判別の誤動作を避ける方法もある。
例えば、平坦な画像すべてを自然画像として判別する
と、背景色（白地、黒地など）までも高画質入力してし
まう場合があるので、それを避けるために背景色は予め
登録しておくか、画像領域で背景色になりうる部分の画
像を取り込んで比較判別し、同じであれば背景と認識し
て高画質での入力処理は行わず、違えば背景と異なると
認識して高画質での入力処理を行う。

【００４２】上述の（１）〜（３）における複数の判別
方法を併用することにより、より正確で精度の高い画像
判別が可能となる。こうして、自然画、文字や図形等の
画像を判定された領域を特定することが可能になる。
尚、上述の画像判別方法以外の方法であっても、本発明
に適用可能であることは言うまでもない。

【００４３】次に、文字認識部３１について説明する。
まず、画像データの２値化処理を行い、１つの文字の単
位に切り出し、切り出された文字の寸法を算出し、認識
処理のために参照する文字の寸法に正規化を行う。更
に、この正規化された文字に対して、予め蓄積部６に記
憶している辞書から文字を引出し、差分比較して評価を
行い、差分が最も小さい文字を見出し、その文字コード
を認識結果として出力する。ここで、文字の切り出しに
ついては、書物や新聞等のように活字で一定の間隔で文
字が印刷されている場合は、文字間の空間領域を抽出し
て文字を１文字単位に分離、抽出することが可能であ
る。

【００４４】また、文字認識の方法であるが、大きくは
パターン整合法と構造解析法とに分けられる。パターン
整合法は、辞書にある各文字の標準文字のテンプレート
と画像入力された文字とを重ねあわせる方法である。一
方、構造解析方法は、文字を構成する線素の方向や大き
さ、形状、接続、交差点等の構造を表現するいくつかの
特徴を抽出し、辞書にある各文字の特徴と画像入力され
た文字の特徴とを照合する方法である。更に、前述のよ
うに１文字単位で認識するには精度や品質において限界
があることから、自然言語処理技術を取り込んで、単語
或は文章の前後関係による判断や文脈による判断により
認識する方法を導入することで認識率を飛躍的に向上さ
せることができる。尚、上述の文字認識方法以外の方法
であっても、本発明に適用可能であることは言うまでも
ない。

【００４５】次に、文字認識部３１の文字認識処理の流
れについて図１４及び図１５を参照して説明する。

【００４６】図１４（図１４Ａ〜図１４Ｄ）は、本発明
の第１の実施形態としての文字認識処理を示すフローチ
ャートである。

【００４７】図中、ステップＳ１において静止画像の入
力か否かを判断する。静止画像でない場合は、撮像部か
ら動画像を入力し（ステップＳ１３）、モニタ１６に転
送して表示する（ステップＳ１４）。静止画像の入力の
場合は、ステップＳ２において、全領域について高画質
な入力要求かを判断する。

【００４８】ＹＥＳの場合は、高画質入力の解像度を設
定し（ステップＳ３）、画面分割数も設定する（ステッ
プＳ４）。次に、ステップＳ５〜ステップＳ１１におい
て最初の撮像領域に駆動部２を制御して位置を合わせ、
映像を入力し映像信号処理された画像データは映像合成
処理部１７により映像合成メモリ部１８に記憶される。
映像合成メモリ部１８に画像データを記憶する際には、
取り込む複数の分割図面が重ならないように映像合成処
理部１７によりメモリの範囲が指定されている。こうし
て、最初の画像データが映像合成メモリ部の所定領域に
記憶される。この動作を画面の分割した数だけ繰り返
し、取り込み完了すると、その取り込まれた全ての画像
データを全体制御部５は蓄積部６に蓄積する。その後
は、動画像モードと静止画像モードの選択に戻る。

【００４９】ＮＯの場合は、カメラ部１から入力した映
像を映像信号処理して映像メモリ部４、グラフィック合
成部１３、映像出力部１５を介してモニタ１６に出力し
（ステップＳ２１）、操作部７からの静止画像の入力指
示に応じて、全体制御部５で静止画像での取り込み領域
を示すグラフィックデータ（例えば、領域を囲むワクな
ど）と撮像範囲を制御する操作方法を示すグラフィック
データをグラフィックメモリ（例えば、ズームやパン、
チルト等の操作画面）に書き込み、撮像中の画像と合成
してモニタに表示する（ステップＳ２２）。次に、表示
されているグラフィック画面により、操作部７からの制
御によりレンズ制御部１２、カメラ部１を制御して静止
画像の撮像領域を設定し（ステップＳ２３）、その設定
された撮像領域の静止画像を映像メモリ部４に記憶する
（ステップＳ２４）。更に、全体制御部５に転送し、蓄
積部６に蓄積される（ステップＳ２５）。

【００５０】次にステップＳ２６において、文字認識処
理をするかを判断する。ＮＯの場合は、そのまま動画像
モードと静止画像モードの選択に戻る。一方、ＹＥＳの
場合には、前述した画像判定処理を施して（ステップＳ
２７）、文字領域があるかを判別する（ステップＳ２
８）。ＮＯの場合は、そのまま動画像モードと静止画像
モードの選択に戻る。一方、ＹＥＳの場合には、、前述
した文字認識処理を全ての文字領域について施し、その
文字領域を識別するグラフィックデータを映像と合成し
て表示する（ステップＳ２９〜ステップＳ３１）。ステ
ップＳ３２において、文字認識が不可能な領域があるか
を判別する。ＮＯの場合は、その認識領域の文字情報を
蓄積済の静止画像に登録し（ステップＳ３３）、蓄積部
６に蓄積し（ステップＳ３４）、動画像と静止画像モー
ドの判断に戻る。ここで、登録とは、最初に蓄積した画
像データへの追加登録、或は、関連づけて蓄積すること
である。その登録情報としては、位置情報、解像度情
報、データ種別等がある。一方ＹＥＳの場合は、その認
識が不可能な領域を抽出して登録し、その中から最初の
撮像領域を指定し（ステップＳ４１）、その撮像領域の
中心が映像取り込みの中心になるように駆動部２を駆動
する（ステップＳ４２）。次にステップＳ４３におい
て、ズームアップが可能かどうかを判断する。ＹＥＳの
場合は、レンズ部１１を制御して倍率をアップして撮像
する（ステップＳ４４）。

【００５１】ここで、レンズ制御部１２を制御して、撮
像領域を望遠側に変倍し、撮像範囲内に合わせるが、そ
の方法について図１５を参照して説明する。

【００５２】図１５は、本発明の第１の実施形態として
の撮像領域の変倍処理を示す図である。

【００５３】図中、最初に取り込み蓄積された静止画像
の領域は、（Ｘ0，Ｙ0），（Ｘ1，Ｙ1），（Ｘ2，Ｙ
2），（Ｘ3，Ｙ3）で示されており、その領域内での高
画質での入力が指定されている領域が（ｘ0，ｙ0），
（ｘ1，ｙ1），（ｘ2，ｙ2），（ｘ3，ｙ3）で示されて
いる。ここで、まず、高画質入力に指定された領域を撮
像領域の中央にするために、（Ｘ0，Ｙ0），（Ｘ1，Ｙ
1），（Ｘ2，Ｙ2），（Ｘ3，Ｙ3）から（Ｘ’0，Ｙ’
0），（Ｘ’1，Ｙ’1），（Ｘ’2，Ｙ’2），（Ｘ’3，
Ｙ’3）になるように撮像領域を移動させる。この移動
量は、（Ｘ0，Ｙ0），（Ｘ1，Ｙ1），（Ｘ2，Ｙ2），
（Ｘ3，Ｙ3）の中心位置と（ｘ0，ｙ0），（ｘ1，ｙ
1），（ｘ2，ｙ2），（ｘ3，ｙ3）の中心位置のずれ分
で算出される。次に、設定された解像度に応じて高画質
入力に指定された領域を変倍するためには、（Ｘ’0，
Ｙ’0），（Ｘ’1，Ｙ’1），（Ｘ’2，Ｙ’2），
（Ｘ’3，Ｙ’3）から（Ｘ”0，Ｙ”0），（Ｘ”1，
Ｙ”1），（Ｘ”2，Ｙ”2），（Ｘ”3，Ｙ”3）に撮像
領域を変倍させる。その変倍量は、指定された解像度と
最初に蓄積された静止画像の解像度との倍率により変倍
率が算出される。この変倍処理の一連の動作は、一括し
て行うことはもちろん可能である。

【００５４】変倍された（Ｘ”0，Ｙ”0），（Ｘ”1，
Ｙ”1），（Ｘ”2，Ｙ”2），（Ｘ”3，Ｙ”3）の領域
の画像データは、映像メモリ部４に記憶される。全体制
御部５は、その記憶された画像データの中から更に、指
定された領域である（ｘ0，ｙ0），（ｘ1，ｙ1），（ｘ
2，ｙ2），（ｘ3，ｙ3）の画像データのみを抽出する。
そして、上記の手順により撮像された撮像領域の映像を
映像メモリに記憶し、その記憶した領域すべてを文字認
識処理する（ステップＳ４５〜ステップＳ４７）。その
結果、認識が不可能な領域がない場合には、その領域の
文字情報を蓄積済の静止画像に登録し（ステップＳ４
９）、蓄積部６に蓄積し（ステップＳ５０）、すでに登
録されている認識不能領域すべてが完了した場合には、
動画像モードと静止画像モードの選択に戻る（ステップ
Ｓ５１）。認識が不可能な領域がまだある場合には、認
識が不可能な次の領域に撮像領域を指定し（ステップＳ
５２）、その撮像領域の中心が映像取り込みの中心にな
るように駆動部を駆動して倍率をアップし映像記憶して
文字認識処理までを繰り返す。上記の手順を繰り返し、
レンズ制御不能で倍率アップができなくなった場合に
は、画素ずらしを行なうかを判断する（ステップＳ６
１）。

【００５５】ＹＥＳの場合には、画素ずらしによる解像
度アップが可能かを判断し、ＹＥＳであれば解像度を設
定し、画面分割数ｎを算出して、その画面分割数分、画
素ずらし制御をして映像情報を入力し記憶し画面合成
し、このｎ個の合成した映像情報に静止画像処理を行な
い、その静止画像のすべてに対して文字認識処理を行な
う（ステップＳ６５〜ステップＳ７３）。その結果、認
識が不可能な領域がない場合には、ステップＳ４９に進
み、その認識領域の文字情報を蓄積済の静止画像に登録
して蓄積部６に蓄積し、既に登録されている認識不能領
域すべてが完了した場合には、動画像モードと静止画像
モードの選択に戻る。認識が不可能な領域がある場合に
は、ステップＳ６２に戻る。上記の手順をくり返し、解
像度アップが不可能になった場合及びステップＳ６１で
ＮＯ（画素ずらしでない場合）には、認識が不可能な領
域の映像データを画素ずらしによる静止画像の場合には
静止画像メモリから、通常の静止画像の場合には映像メ
モリから映像データを読み出し（ステップＳ７５）、そ
の読み出された映像データのままを蓄積済みの静止画像
に登録し（ステップＳ７６）、ステップＳ５０に進む。

【００５６】＜第２の実施形態＞次に、本発明の第２の
実施形態である画素ずらしによる高解像度映像入力装置
について説明する。この画素ずらしによる高解像度映像
入力装置は、基本的な公正及び動作が、第１の実施形態
における画面合成による高解像度映像入力装置と同様な
ため、異なる点についてのみ以下に説明をする。

【００５７】図２は、本発明の第２の実施形態としての
画素ずらしによる高解像度映像入力装置のブロック構成
図である。

【００５８】図中、２０は、平行平板等による画素ずら
しされた色フィルタデータをカメラ部１から入力し、合
成する画素ずらしデータ合成処理部、２１は、合成され
たデータを記憶する画素ずらしデータメモリ部、２２
は、画素ずらしデータメモリ部２１の色フィルタデータ
を画像データに変換処理する静止画像処理部である。

【００５９】静止画像モードの場合には、画像領域を半
画素、または１画素分づつずらして各フィルタごとに撮
像することによって、解像度を向上させたり、光軸が同
一のフィルタ情報（Ｃｙ，Ｙｅ，Ｍｇ，Ｇｒ）が得られ
色再現性の非常に優れた静止画像を生成するモードがあ
る。この場合には、第１の実施形態におけるフィールド
読み出しモードとは異なり、上下のフィルタイメージを
加算せず、フィルタイメージのまま読み出すフレーム読
み出しモードを使用する（従って、図３のカメラ部１に
おける２０９は、画素ずらしによるデータ取り込の場合
はフレーム読み出しを行なうフレーム読み出し制御部と
なる）。このフレーム読み出しモードを、図７及び図８
に示す。

【００６０】図７は、本発明の第２の実施形態としての
フレーム読み出しにおけるフィルタ配列を示す図であ
り、フィルタ配列を順次そのまま読み出している。

【００６１】図８は、本発明の第２の実施形態としての
フレーム読み出しにおけるフィルタ配列を示す図であ
り、フィルタ配列の奇数列のみを最初に読み出し、次に
偶数列のみを読みだすことによるフィルタ種別ごとの読
み出しである。

【００６２】次に、静止画像処理部２２について補足説
明をすると、内部構成は映像入力処理部３とほぼ同じ
で、画素ずらしデータメモリ部２１から、フィルタ情報
（Ｃｙ，Ｙｅ，Ｍｇ，Ｇｒ）を読み出し、Ｃｙ＋Ｇ、Ｙ
ｅ＋Ｍｇ、Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇの加算処理をした後
は、映像入力処理部３と同じ処理を行う。

【００６３】次に、画素ずらしの方法について図１０〜
図１２に示す。

【００６４】図１０は、本発明の第２の実施形態として
の画素ずらしによる映像の入力を示す図である。

【００６５】図中、レンズ部１１において光軸ｂから光
軸ａに光軸を微小にずらすことでカメラ部１で撮像され
る画像領域が微小にずれる。そこで光軸を微小にずらし
ながらその都度、映像を取り込むことで、カメラ部１の
撮像素子の画素数があたかも増して解像度が向上したの
と同等の効果が得られる（図１０の例では、○印の画像
を取り込んだ例である）。光軸を微小に変化させる機構
は、プリズムレンズの頂角を可変させる機構であり、互
いに平行に配されたガラス板４０間をシリコンオイル４
１で満たし、その周囲をシールしたものであり、レンズ
制御部１２によって両ガラス板間の傾きを変化させ、頂
角を可変にするものである。ここで、レンズ部１１を微
小移動させるため、レンズ制御部１２の制御にはかなり
の制度が要求される。画面合成においては、合成画面間
の境界の不連続性が解消されるので、合成後の不自然さ
はなくなる。特に、解像度が変化しても、連続性が失わ
れないので、高画質の静止画像を入力するには、最適な
方法である。但し、複数の画面の取り込みには時間的な
ずれが生じているため、時間的ずれによる影響を極力押
さえるようにその間は一定の環境にするか、複数の画面
の画面全体の平均的な映像信号の状態を記憶しておき、
画面全体の平均レベルがお互い同一のレベルになるよう
に映像信号を調整することで時間的なずれ問題を解決
し、良好な静止画像を得ることが可能となる。

【００６６】図１１は、本発明の第２の実施形態として
の平行平板を用いた画素ずらしによる映像の入力を示す
図である。

【００６７】平行平板（Pallarel Plate）４２を斜めに
傾けることによって、光が物質を通過する際の屈折率に
より生じる入射光の角度のずれを利用し、光軸を微小に
ずらしながら映像を取り込むことで、解像度や色再現性
を向上させることができる。

【００６８】図１２は、本発明の第２の実施形態として
の平行平板による光軸のずれについての説明図である。

【００６９】平行平板４２は、光軸と垂直であれば、光
軸のずれは発生しないが、図に示すように、光が平行平
板４２の斜め方向から入射されると、物体固有の屈折率
により入射角に対して屈折が生じる。この屈折自体は物
質が均一で変化がなければ常に一定であるが、物体の厚
みが増すとそれに応じて変化する。更に、光が物体を通
過すると、逆の屈折が生じて物体に入射した時の光軸と
平行な光となる。従って、図１２で示した長さｄが光軸
のずれとなる。長さｄは、下記の式により求めることが
できる。

【００７０】ｎ＝ｓｉｎｉ／ｓｉｎθ （ｎ：屈折率）ｘ＝Ｌ・（ｔａｎｉ−ｔａｎθ）ｄ＝ｃｏｓｉ・ｘこれにより、ｄ＝ｃｏｓｉ・Ｌ・（ｓｉｎｉ／ｃｏｓｉ−ｔａｎθ）＝Ｌ・［ｓｉｎｉ−ｃｏｓｉ・ｔａｎ｛ａｒｃｓｉｎ（ｓｉｎｉ／ｎ）｝］と求められる。

【００７１】この長さｄが、撮像素子の画素間の長さと
同じであれば１画素ずらし、１／２であれば半画素ずら
しての撮像が可能になる。その画素ずらしによる撮像を
イメージした図を図１３に示す。

【００７２】図１３は、本発明の第２の実施形態として
の画素ずらしによる撮像についての説明図である。

【００７３】ここでａ１１は、ホームポジションであ
り、ｂ１１とｃ１１とｄ１１とは、ａ１１のホームポジ
ションから平行平板４２による画素ずらしにより、１画
素ずらした場合である。つまり撮像している対象物は同
一であって、ａ１１はＣｙ，ｂ１１はＹｅ，ｃ１１はＭ
ｇ，ｄ１１はＧｒの各フィルタイメージで撮像してい
る。

【００７４】半画素ずらしの場合は、ホームポジション
から垂直方向はそのままで水平右方向へ半画素ずらした
位置を新たなホームポジションａ１２とし、１画素ずら
したのが、ｂ１２、ｃ１２、ｄ１２である。同様に、ａ
２１を新たなホームポジションとした半画素ずらしによ
り、ｂ２１、ｃ２１、ｄ２１、ａ２２を新たなホームポ
ジションとした半画素ずらしにより、ｂ２２、ｃ２２、
ｄ２２と順次撮像することで高画質な静止画像を生成す
ることが可能となる。

【００７５】尚、本発明は、複数の機器から構成される
システムに適用しても、本実施形態のように１つの機器
からなる装置に適用しても良い。また、本発明はシステ
ム或は装置にプログラムを供給することによって実施さ
れる場合にも適用できることは言うまでもない。この場
合、本発明に係るプログラムを格納した記憶媒体が本発
明を構成することになる。そして、該記憶媒体からその
プログラムをシステム或は装置に読み出すことによっ
て、そのシステム或は装置が、予め定められた仕方で動
作する。

【００７６】＜実施形態の効果＞（１）予め静止画像として取り込んでおいた画像データ
又は、モニタ１６を見ながら操作部７によりリアルタイ
ムに取り込んだ静止画像の文字領域について、画像判定
処理により文字領域を抽出し、文字認識を行いテキスト
データに変換し、改めてその静止画像と関連付けてその
文字情報を登録／蓄積することが可能になる。これによ
り処理するデータ量、記憶容量、処理時間を大幅に削減
することが可能となる。（２）入力文字が小さくて認識が不可能な場合に、ズー
ムや画素ずらしによって解像度を向上させ、かつ、カメ
ラ駆動部２によって撮像領域へのカメラ部１の制御を木
目細かく行なうことが可能なので、文字認識の精度を必
要とする部分のみを精度の向上が可能となる。

【００７７】

【発明の効果】以上説明したように、本発明によれば、
取り込んだ画像に含まれる文字情報をテキストデータに
変換することが可能な映像入力装置の提供が実現する。

【００７８】

【図面の簡単な説明】

【図１】本発明の第１の実施形態としての画面合成によ
る高解像度映像入力装置のブロック構成図である。

【図２】本発明の第２の実施形態としての画素ずらしに
よる高解像度映像入力装置のブロック構成図である。

【図３】本発明の第１の実施形態としてのカメラ部１の
内部ブロック図である。

【図４】本発明の第１の実施形態としての映像入力処理
部３の内部ブロック図である。

【図５】本発明の第１の実施形態としての光電変換素子
２０４の素子上のフィルタ配列を示す図である。

【図６】本発明の第１の実施形態としてのフィールド読
み出しにおけるフィルタ配列を示す図である。

【図７】本発明の第２の実施形態としてのフレーム読み
出しにおけるフィルタ配列を示す図である。

【図８】本発明の第２の実施形態としてのフレーム読み
出しにおけるフィルタ配列を示す図である。

【図９】本発明の第１の実施形態としての画面分割によ
る映像の入力を示す図である。

【図１０】本発明の第２の実施形態としての画素ずらし
による映像の入力を示す図である。

【図１１】本発明の第２の実施形態としての平行平板を
用いた画素ずらしによる映像の入力を示す図である。

【図１２】本発明の第２の実施形態としての平行平板に
よる光軸のずれについての説明図である。

【図１３】本発明の第２の実施形態としての画素ずらし
による撮像についての説明図である。

【図１４Ａ】本発明の第１の実施形態としての文字認識
処理を示すフローチャートである。

【図１４Ｂ】本発明の第１の実施形態としての文字認識
処理を示すフローチャートである。

【図１４Ｃ】本発明の第１の実施形態としての文字認識
処理を示すフローチャートである。

【図１４Ｄ】本発明の第１の実施形態としての文字認識
処理を示すフローチャートである。

【図１５】本発明の第１の実施形態としての撮像領域の
変倍処理を示す図である。

【図１６】従来例としての映像入力装置のブロック構成
図である。

【図１７】従来例としての静止画像の入力処理を示すフ
ローチャートである。

【符号の説明】

１カメラ部２駆動部３映像入力処理部４映像メモリ部５全体制御部６蓄積部７操作部８モニタ１１レンズ部１２レンズ制御部１３グラフィック合成部１４グラフィックメモリ部１５映像出力処理部１６モニタ１７映像合成処理部１８映像合成メモリ部２０画素ずらしデータ合成処理部２１画素ずらしデータメモリ部２２静止画処理部３０画像判定部３１文字認識部４０板ガラス４１シリコンオイル４２平行平板１０１カメラ部１０２駆動部１０３映像入力処理部１０４映像メモリ部１０５全体制御部１０５蓄積部１０７操作部１０８モニタ２０１絞りシャッタ２０２光学的ローパスフィルタ２０３ＣＣＤドライバ２０４光電変換素子２０５自動ゲインコントロール部（ＡＧＣ）２０６絞り測光回路２０７アイリス駆動部２０８平行平板２０９フレーム（フィールド）読み出し制御部２１０ローパスフィルタ駆動部２１１平行平板駆動部３０１遅延回路３０２水平／垂直アパーチャ補正部３０３ガンマ補正部３０４同期検波部３０５ＲＧＢマトリクス変換部３０６ホワイトバランス調整部３０７ガンマ補正処理部３０８色差マトリクス変換部

Claims

【特許請求の範囲】

【請求項１】撮像領域を移動可能なカメラ部を備え、
そのカメラ部で撮像した画像を静止画像として取り込む
映像入力装置において、前記静止画像が有する画像特性のうち文字特性を有する
領域を判別する画像判別手段と、前記文字特性を有する領域を分割する文字領域の分割手
段と、前記文字領域の分割手段により分割された文字領域毎に
文字の認識をする文字認識手段と、前記文字認識手段により認識された文字をコード変換す
るコード変換手段と、を備えたことを特徴とする映像入
力装置。
【請求項２】前記文字認識手段により文字認識できな
い領域を抽出し、その抽出された領域に対して文字の認
識が可能になるまで変倍倍率を大きくする抽出領域の変
倍手段を備え、その変倍後の領域を前記文字認識手段に
より改めて文字認識することを特徴とする請求項１記載
の映像入力装置。
【請求項３】前記文字認識手段により文字認識できな
い領域を抽出し、その抽出された領域に対して文字の認
識が可能になるまで解像度を高くする高解像度化手段を
備え、その解像度を高くされた領域を前記文字認識手段
により改めて文字認識することを特徴とする請求項１記
載の映像入力装置。
【請求項４】前記抽出領域の変倍手段と、前記高解像
度化手段とを備え、その変倍後及び／または高解像度化
処理後の領域を前記文字認識手段により改めて文字認識
することを特徴とする請求項１記載の映像入力装置。
【請求項５】前記コード変換手段によりコード化され
た文字を、前記静止画像または前記文字領域と関連付け
し、合成する第１の合成手段を備えたことを特徴とする
請求項１記載の映像入力装置。
【請求項６】前記文字認識手段により文字認識できな
い領域を、前記静止画像または前記文字領域と関連付け
し、合成する第２の合成手段を備えたことを特徴とする
請求項１記載の映像入力装置。
【請求項７】前記高解像度化手段として画素ずらしを
用いることを特徴とする請求項３または請求項４記載の
映像入力装置。