JP2004193747A - 走査線補間装置および画像表示装置並びに走査線補間方法 - Google Patents
走査線補間装置および画像表示装置並びに走査線補間方法 Download PDFInfo
- Publication number
- JP2004193747A JP2004193747A JP2002356691A JP2002356691A JP2004193747A JP 2004193747 A JP2004193747 A JP 2004193747A JP 2002356691 A JP2002356691 A JP 2002356691A JP 2002356691 A JP2002356691 A JP 2002356691A JP 2004193747 A JP2004193747 A JP 2004193747A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interpolation
- scanning line
- pixels
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【解決手段】補間走査線上の補間画素の位置を中心として、補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、第1の画素対における画素と走査線直交方向に隣接する画素を、第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、第1の画素対における画素の信号と、第2の画素対における画素の信号とに基づいて上記補間画素の信号を決定し、上記補間走査線を生成する。
【選択図】 図1
Description
【発明の属する技術分野】
この発明は、画像の解像度を変換するための画像補間装置および方法に関し、特にインターレース方式の映像信号をプログレッシブ方式の映像信号に走査線変換する走査線補間装置および走査線補間方法に関する。
【0002】
【従来の技術】
飛越走査であるインターレース方式の映像では、1フレームの映像信号が2フィールドの映像信号により構成される。即ち、第1フィールドの映像信号が走査された後、第2フィールドの映像信号が走査され1フレームの映像信号となる。また、1フレーム内の走査線は、第1フィールドの走査線と第2フィールドの走査線とが交互に位置するので、第1フィールドの走査線に両側で隣接する走査線は第2フィールドの走査線となり、第2フィールドの走査線に両側で隣接する走査線は第1フィールドの走査線となる。一方、順次走査であるプログレッシブ方式の映像では、1フレームの映像信号が1フィールドの映像信号により構成されており、1フレーム内の隣接する走査線は同一フィールドの走査線である。
【0003】
従って、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する場合には、インタレース方式の第1フィールドの映像信号からプログレッシブ方式の1フレームの映像信号を生成し、インターレース方式の第2フィールドの映像信号からプログレッシブ方式の1フレームの映像信号を生成する必要がある。このため、インターレース方式の1フィールドの映像信号に対し補間により走査線を追加し、プログレッシブ方式の1フレームの映像信号に変換する走査線変換を行わなければならない。
【0004】
このような走査線変換は、インターレス方式の映像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込み補間走査線を生成する、いわゆるフィールド間補間といわれる走査変換が行われる。一方、インターレス方式の映像信号が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間走査線を生成する、いわゆるフィールド内補間といわれる走査変換が行われる(例えば、特許文献1及び特許文献2参照)。
【0005】
【特許文献1】
特開平3−179890号公報(第3−4項、第4図)
【特許文献2】
特開2002−112203号公報(第4−6項、第1図)
【0006】
図23は、特開平3−179890号公報に示されている、一般的な走査線補間装置の一構成例を示すブロック図である。図において、200はインターレース方式の映像信号が入力される映像信号入力端子、201は入力映像信号からフィールド間補間により補間信号を生成する静止画用補間手段、202は入力映像信号からフィールド内補間により補間信号を生成する動画用補間手段、203は入力映像信号の動きを検出する動き検出手段、204は動き検出手段203の動き検出結果に基づいて静止画補間信号と動画補間信号とを混合する混合手段、205は混合手段204からの補間信号を入力映像信号の走査線間にはめ込むとともに、入力映像信号と補間信号との出力タイミング調整を行い、プログレッシブ方式の映像信号を出力する時間軸変換手段である。
【0007】
次に動作について説明する。静止画用補間手段201はフィールドメモリを備え、例えば入力映像信号の1フィールド前の信号を補間信号として出力する。動画用補間手段202は1水平走査期間(1ライン走査期間。以下、「1H」と言う。)分の映像信号を遅延する遅延手段を有しており、フィールド内補間により補間信号を生成し出力する。動き検出手段203はフレームメモリを備え、フレームメモリ内の映像信号と入力映像信号との差分を求め、差分が大きい個所を動画部として判断し、動き検出信号を出力する。
【0008】
混合手段204は、動き検出手段203からの動き検出信号に応じ、動画部には動画用補間手段202からの補間信号を得て、その他の部分には静止画用補間手段201からの補間信号を得て、補間走査線を生成し出力する。そして、時間軸変換手段205により入力映像信号と補間信号との出力タイミングを調節し、プログレッシブ方式の映像信号として出力する。
【0009】
動画用補間手段202におけるフィールド内補間には、隣接する走査線上における画素の信号の平均値を用いるライン平均走査線補間がある。図24は従来のライン平均走査線補間における動画用補間手段の一構成例を示すブロック図である。図において、加算手段212は、入力映像信号と、入力映像信号を1H分遅延する1H遅延手段211とから入力された信号を加算し、増幅器213に出力する。増幅器213は、加算手段212から入力された映像信号の利得を1/2に増幅し、補間信号を出力する。
【0010】
従って、隣接する走査線間に補間走査線Pを生成する場合、増幅器213から出力される補間信号は、補間画素に隣接する画素の平均値となる。即ち、走査線B、及び走査線Cとの間に補間走査線Pを生成する場合、補間走査線P上の補間画素P0の信号P(0)は、補間画素P0と走査線直交方向に隣接する画素B0、画素C0の信号B(0)、C(0)を用いて、P(0)=(B(0)+C(0))/2と表すことができる。
【0011】
また、特開2002−112203号公報には、走査方向に対し傾斜する画像がある場合において、傾斜方向の解像度劣化を防ぐため、相関性の高い斜め方向の画素を求めて補間信号を生成する走査線補間装置が記載されている。図25は、特開平2002−112203号公報に記載された斜め相関による走査線補間装置において、動画用補間手段の一構成例を示すブロック図である。図において、220はインターレース方式の映像信号が入力される入力端子、221〜223は入力映像信号を1H分遅延する第1から第3の遅延手段、224は入力映像信号における各走査線上の画素のブロックを特定して、ブロック毎にブロック信号を出力するブロック信号生成手段、225はブロック信号生成手段224からのブロック信号により画素対の相関を検出し、検出結果を出力する相関検出手段、226は相関検出手段225からの相関検出結果に基づき、相関のある画素を選択して補間信号を生成する補間手段である。
【0012】
次に動作について説明する。入力されたインターレス方式の映像信号は、第1の遅延手段221へ入力され、次に、第1の遅延手段221から出力された信号は第2の遅延手段222へ入力され、さらに第2の遅延手段222から出力された信号は第3の遅延手段223に入力される。また、ブロック信号生成手段224には4ライン分の走査線信号として、入力映像信号、第1の遅延手段221から出力された信号、第2の遅延手段222から出力された信号、及び第3の遅延手段223から出力された信号が入力される。図26は、入力映像信号および第1から第3の遅延手段221〜223から出力された信号における画素を模式的に示した図である。
【0013】
図において、第1の走査線Aは第3の遅延手段223から出力された走査線であり、走査線方向に画素A0、A1、A2、A3、A4、A5、A6、A7、A8と順に並び、走査線を形成している。同様に、第2の走査線Bは第2の遅延手段222から出力された走査線であり、走査線方向に画素B0、B1、B2、B3、B4、B5、B6、B7、B8と順に並び走査線を形成し、第3の走査線Cは第1の遅延手段221から出力された走査線であり、走査線方向に画素C0、C1、C2、C3、C4、C5、C6、C7、C8と順に並び走査線を形成し、第4の走査線Dは入力映像信号であり走査線方向に画素D0、D1、D2、D3、D4、D5、D6、D7、D8と順に並び走査線を形成している。
【0014】
図26において、隣接する走査線B、Cの間に補間走査線Pを作成する場合を考える。走査線B上の画素B4と走査線C上の画素C4との間に補間画素P4を生成する場合、まずブロック信号生成手段224は、走査線B上にある画素を画素B4を中心に両側3個毎、つまり画素B1からB7を選択する。同様に、画素C4を中心に走査線C上にある画素C1からC7を抽出する。
次に、補間画素P4を中心として点対称の位置関係にある走査線B上、及び走査線C上の画素をB1−C7、B2−C6、B3−C5、B4−C4、B5−C3、B6−C2、B7−C1の対として選択し、選択された一方の画素を中心に、走査線方向に3画素、走査線直交方向に3画素を抽出し、抽出された画素で構成される2つの領域301、302を作成する。なお、図26には、画素B5と画素C3が選択され、領域301は画素B5を中心として画素A4、A5、A6、画素B4、B5、B6および画素C4、C5、C6で構成され、領域302は画素C3を中心として画素B2、B3、B4、画素C2、C3、C4および画素D2、D3、D4で構成された場合を示している。
【0015】
さらに、領域301、および領域302を構成する各画素に対して、各領域のの画素を中心として、各画素の信号に対し所定の係数を乗ずるフィルタリング処理を行い、各領域の走査線方向および走査線直交方向の低周波成分を抽出し、上記係数を乗じた画素信号を累積加算する処理を行う。この領域特定、フィルタリング処理および加算処理を、上記選択した画素ごとに行い、加算処理後の値をブロック信号B1b、B2b、B3b、B4b、B5b、B6b、B7b、及びC1b、C2b、C3b、C4b、C5b、C6b、C7b、C8bとして出力する。
【0016】
例えば、画素B5を中心とした領域301において、画素B5の信号B(5)に対して1/4、画素A5、画素B4、画素B6及び画素C5の信号A(5)、B(4)、B(6)、及びC(5)に対して1/8、画素A4、画素A6、画素C4、及び画素C6の信号A(4)、A(6)、C(4)、及びC(6)に対して1/16と各々所定係数を定め、ブロック信号B5bを
B5b=(A(4)/16)+(A(5)/8)+(A(6)/16)+(B(4)/8)+(B(5)/4)+(B(6)/8)+(C(4)/16)+(C(5)/8)+(C(6)/16)
なる計算式から得る。
【0017】
同様に、画素C3を中心とした領域302において、画素C3の信号C(3)に対して1/4、画素B3、画素C2、画素C4及び画素D3の信号B(3)、C(2)、C(4)及びD(3)に対して1/8、画素B2、画素B4、画素D2、及び画素D4の信号B(2)、B(4)、D(2)及びD(4)に対して1/16と各々所定係数を定め、ブロック信号C3bを
C3b=(B(2)/16)+(B(3)/8)+(B(4)/16)+(C(2)/8)+(C(3)/4)+(C(4)/8)+(D(2)/16)+(D(3)/8)+(D(4)/16)
なる計算式から得る。
【0018】
相関検出手段225は、ブロック信号生成手段224から出力されるブロック信号について、各画素対毎にその差分の絶対値を求め、差分の絶対値が最も小さい画素対を最も相関性の高い画素対であるとして、その画素対の位置を示す検出信号を補間手段226へと出力する。即ち、|B1b−C7b|、|B2b−C6b|、|B3b−C5b|、|B4b−C4b|、|B5b−C3b|、|B6b−C2b|、及び|B7b−C1b|の値を比較し、最も値の低い画素対を検出する。
【0019】
補間手段226には、1H遅延手段221、222による走査線B、走査線Cの信号が入力され、相関検出手段225からの検出信号に基づき補間のための画素対を選択し、その画素の信号を加算し、利得を1/2とすることで補間画素P4を生成して出力する。
【0020】
図26に示す補間画素P4に対し最も相関性が高い画素対は、走査線B上の画素B5と走査線C上の画素C3の画素対であり、相関検出手段225は画素B5と画素C3を選択する検出信号を補間手段226に出力する。
したがって、画素B5−画素P4−画素C3と結ぶ直線が生成されるので、補間信号による境界線のボケやガタツキは発生せず、良好な補間を行うことができる。
【0021】
【発明が解決しようとする課題】
しかし、実際の画像には、図27に示すような幅の狭い線、すなわち、いわゆる細線がある場合がある。このような画像に対し、図24に示す従来のライン平均走査線補間装置を用いると、補間画素P4の信号は、走査線B上の画素B4の信号B(4)と走査線C上の画素C4の信号C(4)との平均値により求められるので、画素B6−画素P4−画素C1を結ぶ線は画素Yで断線してしまう。その結果、斜め方向解像度が劣化し、境界線の切断やボケ、ガタツキが生じるという問題点がある。
【0022】
また、同様に、図27に示すような画像に対し、図25に示す相関性の高い斜め方向の画素対を求めて補間信号を生成する走査線補間装置を用いると、相関性が高い方向を見出すことができず、補間信号を生成できない。即ち、図25に示す走査線補間装置では、画素対B4−C4、B2−C6、及びB1−C7におけるブロック信号の絶対値が等しくなるので相関性も等しいと判断され相関性評価ができなくなるので、補間する画素対の方向を特定できない。
【0023】
したがって、従来の相関性の高い斜め方向の画素により補間を行う走査線補間装置は、細線については良好な走査線補間を行うことができず、境界線の切断やボケ、ガタツキが生じたり、補間画素の相関方向を特定できないという問題点があった。
【0024】
本発明は上記のような問題点に鑑みなされたもので、細線に対しても境界線の切断やボケ、ガタツキが生じることなく、良好な走査線補間を行うことができる走査線補間装置および走査線補間方法の提供を目的とする。
【0025】
【課題を解決するための手段】
本発明に係わる走査線補間装置は、
映像信号の走査線の間を補間する補間走査線を生成する走査線補間装置であって、
補間走査線上の補間画素の位置を中心として、補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、第1の画素対における画素と走査線直交方向に隣接する画素を、第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、第1の画素対における画素間の信号の差分と、第2の画素対における画素間の信号の差分とに基づいて補間方向の候補を出力する相関方向検出手段と、
第1の画素対における画素と、第1の画素対における画素と走査線直交方向に隣接する第2の画素対における画素とを第3の画素対として選択し、第3の画素対における画素の信号の差分に基づいて細線を検出し、検出結果を出力する細線検出手段と、
第2の画素対における画素を走査線直交方向に第4の画素対として選択し、第2の画素対における画素間の信号と、第4の画素対における画素間の信号と、補間画素と走査線直交方向に隣接する画素間の信号の差分とに基づいてエッジを検出し、検出結果を出力するエッジ検出手段と、
相関検出手段からの出力と、細線検出手段からの出力と、エッジ検出手段からの出力とに基づいて補間方向を決定する相関方向決定手段とを備え、
補間方向に基づき補間画素の信号を決定し、補間走査線を生成することとしたものである。
【0026】
【発明の実施の形態】
本発明に係わる走査線補間装置は、まず、相関方向検出手段により補間画素を点対称の中心とした複数の方向の中から相関性の高い方向を選択し、その相関方向を画素信号P(0)を生成するための補間方向の候補として出力する。
出力された補間方向に従い、補間画素が細線上にあるのか、図形のエッジ上にあるのかを細線検出手段、及びエッジ検出手段により検出し、検出結果を相関方向決定手段に出力する。
相関方向決定手段は、検出結果に従い、必要であれば相関方向の候補を補正する。
相関方向決定手段から出力された相関方向の候補に従い、相関方向補間手段は補間方向を決定し、補間画素の画素信号を生成し、補間画素信号を出力する。
なお、相関方向決定手段から出力された相関方向を一旦、孤立方向補正手段に入力し、隣接する画素における方向と比較し、必要であれば方向の補正をしてもよい。
以下、本発明に係わる走査線補間装置を図を用いて説明する。
【0027】
実施の形態1.
図1に本発明の走査線補間装置の一実施形態の構成を示す。
本実施の形態に係る走査線補間装置は、差分絶対値算出手段4、相関値算出手段5、平均値算出手段6、及び最小相関値方向選択手段7からなる相関方向検出手段13により相関方向の候補を定め、相関方向決定手段10において相関方向検出手段13、細線検出手段8、及びエッジ検出手段9の出力から最終的な相関方向の候補を定め、さらに孤立方向補正手段11で周囲との整合を取った後、相関方向補間手段12により相関方向を決定し、補間信号を出力する。
【0028】
図1において、入力端子200から入力されたインターレース方式の映像信号は、入力映像信号を1H分遅延する機能を有する第1の遅延手段1、差分絶対値算出手段4、細線検出手段8、及びエッジ検出手段9に入力される。第1の遅延手段1から出力された信号は、第1の遅延手段1と同様の機能を有する第2の遅延手段2、差分絶対値算出手段4、細線検出手段8、エッジ検出手段9、及び相関方向補間手段12に入力される。同様に、第2の遅延手段2から出力された信号は、第1の遅延手段1と同様の機能を有する第3の遅延手段3、差分絶対値算出手段4、細線検出手段8、エッジ検出手段9、及び相関方向補間手段12に入力される。第3の遅延手段3から出力された信号は、差分絶対値算出手段4、細線検出手段8、及びエッジ検出手段9に入力される。
【0029】
次に相関方向検出手段13における各手段の機能について説明する。
差分絶対値算出手段4は、入力映像信号、及び第1から第3の遅延手段から出力された信号を受け取り、補間走査線上の補間画素の位置を中心として、点対称の位置にある隣接走査線上の画素を第1の画素対として2組以上選択し、各組における画素間の信号の差分絶対値を算出する。また、第1の画素対における画素と走査線直交方向に隣接する画素を、第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、第2の画素対における画素間の差分絶対値を算出する。そして、それら差分絶対値を相関値算出手段5に出力する。
【0030】
相関値算出手段5は、差分絶対値算出手段4の出力から同じ方向における第1の画素対における画素間の差分絶対値と第2の画素対における画素間の差分絶対値とを選択し、各方向における相関性を示す値(以下、相関値と呼ぶ)を算出し、平均値算出手段6及び最小相関値方向選択手段7に出力する。平均値算出手段6は、相関値算出手段5の出力である相関値から所定の領域における相関性を検出し、その結果を最小相関値方向選択手段7に出力する。最小相関値方向選択手段7は、相関値算出手段5の出力である相関値と、平均値算出手段6の出力結果から、最も相関性が高い方向(以下、相関方向と呼ぶ)を補間方向の候補として選択する。
【0031】
次に細線検出手段8の機能について説明する。細線検出手段8は、入力映像信号、及び第1から第3の遅延手段の出力された信号を受取り、各方向における細線の存在を検出し、その検出結果を相関方向決定手段10に出力する。
さらにエッジ検出手段9は、入力映像信号、及び第1から第3の遅延手段から出力された信号を受取り、各方向における図形のエッジの存在を検出し、その検出結果を相関方向決定手段10に出力する。すなわちエッジ検出手段9は、細線検出手段8が検出する細線より面積の大きい図形の境界を検出することを目的としている。
【0032】
相関方向決定手段10は、細線検出手段8、エッジ検出手段9からの結果に基づき、相関方向検出手段13からの相関方向を補正して、その結果を孤立方向補正手段11に出力する。孤立方向補正手段11は、補間画素における相関方向と、その補間画素に隣接する補間画素の相関方向を比較し、孤立した方向を除去し、その結果を相関方向補間手段12に出力する。相関方向補間手段12は孤立方向補正手段11からの相関方向に基づき、補間画素の信号を最終的に決定し、補間信号を出力する。
【0033】
図2は、入力映像信号、第1の遅延手段1、第2の遅延手段2、及び第3の遅延手段3から出力された信号おける画素を模式的に示した図である。第1の走査線Aは、第3の遅延手段3から出力された信号により構成された走査線であり、第2の走査線Bは、第2の遅延手段2から出力された信号により構成された走査線であり、第3の走査線Cは、第1の遅延手段1から出力された信号により構成された走査線であり、第4の走査線Dは、入力映像信号により構成された走査線である。
【0034】
図において、隣接する走査線B及び走査線Cとの間に、補間走査線Pを生成する場合について説明する。補間走査線P上の補間画素P0の信号P(0)とすると、補間画素に走査線直交方向に隣接し走査線B上にある画素B0の信号をB(0)、補間画素に走査線直交方向に隣接し走査線C上にある画素C0の信号をC(0)とする。
【0035】
そして、画素B0に隣接し走査線走査方向にある画素B1の信号をB(1)とし、画素B1に走査線方向に隣接する画素B2の信号をB(2)とする。このように、画素B0から順に走査線走査方向に隣接する画素の位置と信号とを、正の整数を用いて表す。一方、画素B0に隣接し走査線方向とは逆方向にある画素B−1の信号をB(−1)とし、画素B−1に走査線方向とは逆方向に隣接する画素B−2の信号をB(−2)とする。このように画素B0から順に走査線方向とは逆の方向に隣接する画素の位置と信号とを、負の整数を用いて表す。従って、走査線B上の画素の信号は、画素B(0)から走査線方向にB(1)、B(2)、B(3)、・・・と並び、画素B0から走査線方向とは逆方向にB(−1)、B(−2)、B(−3)、・・・と並ぶ。
走査線C上の画素の位置と信号も走査線Bと同様に、補間画素P0に隣接する画素C0から走査線方向に画素の信号がC(1)、C(2)、C(3)、・・・と並び、画素C0から走査線方向とは逆方向にC(−1)、C(−2)、C(−3)、・・・と並ぶ。
【0036】
また、補間画素P(0)を中心として点対称の位置にある画素Baと画素C−aとを結ぶ直線の方向を方向aと定める(aは整数)。即ち、画素Pを通り、画素B0と画素C0とを結ぶ直線の方向は方向0、画素P0を通り画素B1と画素C−1とを結ぶ直線の方向は方向1、画素P0を通り画素B2と画素C−2とを結ぶ直線の方向は方向2となる。一方、画素P0を通り画素B−1と画素C1とを結ぶ直線の方向は方向−1、画素P0を通り画素B−2と画素C2とを結ぶ直線の方向は方向−2となる。図2には、方向−5から方向5までを示している。
【0037】
<相関方向検出手段>
図1に示した走査線補間装置では、相関方向検出手段13から出力された相関方向が、補間画素を生成する際の補間方向の最有力候補となる。
まず、相関方向検出手段13における各手段の動作について、詳細に説明する。
【0038】
<差分絶対値算出手段>
差分絶対値算出手段4で算出された差分絶対値は、相関方向検出手段13における各手段にて、相関方向の候補を決定するために用いられる。
差分絶対値算出手段4では、まず、補間画素P0を中心としたそれぞれの方向に対して、走査線B上、C上に存在する各方向の画素を第1の画素対として選択し、第1の画素対における画素間の信号の差分絶対値を算出するとともに、第1の画素対における画素と走査線直交方向に隣接する画素を、第1の画素対における画素間を結んだ直線と同一の方向に第2の画素対として選択し、第2の画素対における画素間の信号の差分絶対値も算出する。
ここで、差分絶対値の大きさは、各画素間における信号値の近さを示す。即ち、差分絶対値が小さい場合は、画素間の信号の差が小さいので、画素対の相関性が高い。一方、差分絶対値が大きい場合は、画素間の信号の差が大きいので、画素対の相関性が小さいといえる。
【0039】
例えば、方向−5の場合について図3に示す。まず、走査線B上の画素B−5と走査線C上の画素C5とを抽出し、画素B−5の信号B(−5)と画素C5の信号C(5)との差分絶対値L2(−5)を算出する。従って、L2(−5)はB(−5)とC(5)とを用いて第1の差分絶対値をL2(−5)=|B(−5)−C(5)|と表すことができる。そして、画素B−5に走査線直交方向に隣接し走査線A上にある画素A−5、画素B−5に走査線直交方向に隣接し隣接し走査線C上にある画素C−5、画素C5に走査線直交方向に隣接し走査線B上にある画素B5、及び画素C5に走査線直交方向に隣接し走査線D上にある画素D5の各画素を抽出する。さらに、これら画素に対応する信号A(−5)、C(−5)、B(5)、及びD(5)を、各画素対における画素間を直線で結ぶ場合、画素B−5と画素C5とを結ぶ直線と平行なるように、第2の画素対として選択し組み分けする。従って、画素A−5と画素B5との画素対、画素C−5と画素D5との画素対の2組に分けて選択することになる。最後に、第2の差分絶対値L1(−5)=|A(−5)−B(5)|、L3(−5)=|C(−5)−D(5)|を算出する。
【0040】
方向−4の場合も、方向−5の場合と同様となる。即ち、まず、走査線B上の画素B−4と走査線C上の画素C4とを抽出し、画素B−4に対応する信号B(−4)の信号と画素C4に対応する信号C(4)との差分絶対値L2(−4)を算出する。従って、L2(−4)はB(−4)とC(4)とを用いて、第1の差分絶対値をL2(−4)=|B(−4)−C(4)|と表すことができる。そして、画素B−4に隣接し走査線A上にある画素A−4、画素B−4に隣接し走査線C上にある画素C−4、画素C4に隣接し走査線B上にある画素B4、及び画素C4に隣接し走査線D上にある画素D4を抽出する。さらに、これらの画素に対応する信号A(−4)、C(−4)、B(4)、及びD(4)を、各画素対における画素間を直線で結ぶ場合、画素B−4と画素C4とを結ぶ直線と平行なるように、選択し組み分けする。従って、画素A−4と画素B4との画素対、画素C−4と画素D4との画素対の2組に分けて選択することになる。最後に、第2の差分絶対値L1(−4)=|A(−4)−B(4)|、L3(−4)=|C(−4)−D(4)|を算出する。
【0041】
同様の手順により、方向−3に対しては、画素信号A(−3)、B(−3)、C(−3)、B(3)、C(3)、及びD(3)を用いて第1及び第2の差分絶対値L1(−3)、L2(−3)、及びL3(−3)を、L1(−3)=|A(−3)−B(3)|、L2(−3)=|B(−3)−C(3)|、L3(−3)=|C(−3)−D(3)|と算出し、方向−2に対しては、画素信号A(−2)、B(−2)、C(−2)、B(2)、C(2)、及びD(2)を用いて第1及び第2の差分絶対値L1(−2)、L2(−2)、及びL3(−2)を、L1(−2)=|A(−2)−B(2)|、L2(−2)=|B(−2)−C(2)|、L3(−2)=|C(−2)−D(2)|と算出し、方向−1に対しては、画素信号A(−1)、B(−1)、C(−1)、B(1)、C(1)、及びD(1)を用いて第1及び第2の差分絶対値L1(−1)、L2(−1)、及びL3(−1)を、L1(−1)=|A(−1)−B(1)|、L2(−1)=|B(−1)−C(1)|、L3(−1)=|C(−1)−D(1)|をそれぞれ算出する。
【0042】
また、方向5の場合について図4に示す。この場合も差分絶対値R1(5)、R2(5)、及びR3(5)を算出する手順は、上記で説明した手順と同様である。
まず、走査線B上の画素B5と走査線C上の画素C−5とを抽出し、画素B5の信号B(5)と画素C−5の信号C(−5)との差分絶対値R2(5)を算出する。従って、R2(5)はB(5)とC(−5)とを用いて、第1の差分絶対値をR2(5)=|B(5)−C(−5)|と表すことができる。そして、画素B5に隣接し走査線A上にある画素A5、画素B5に隣接し走査線C上にある画素C5、画素C−5に隣接し走査線B上にある画素B−5、及び画素C−5に隣接し走査線D上にある画素D−5の画素を抽出する。さらに、これら画素に対応する信号A(5)、C(5)、B(−5)、及びD(−5)を、各画素対における画素間を直線で結ぶ場合、画素B5と画素C−5とを結ぶ直線と平行なるように、選択し組み分けする。従って、画素A5と画素B−5との画素対、画素C5と画素D−5との画素対の2組に分けて選択することになる。最後に、第2の差分絶対値R1(5)=|A(5)−B(−5)|、R3(5)=|C(5)−D(−5)|を算出する。
【0043】
同様に、各方向ごとに、方向4の場合における差分絶対値R1(4)、R2(4)、及びR3(4)、方向3の場合における第1及び第2の差分絶対値R1(3)、R2(3)、及びR3(3)、方向2の場合における第1及び第2の差分絶対値R1(2)、R2(2)、及びR3(2)、方向1の場合における第1及び第2の差分絶対値R1(1)、R2(1)、及びR3(1)をそれぞれ算出する。
【0044】
図5〜7は差分絶対値算出手段4の一構成例を示すブロック図であり、21a〜21k、22a〜22k、23a〜23k、24a〜24kは1画素分(以下、「1D」と言う。)の信号を遅延する1D遅延手段、31a〜31e、31g〜31k、32a〜32e、33g〜33k、33a〜33e、33g〜33kは差分算出手段、41、42および43は絶対値算出手段であり、図5〜図7における同一の符号は同一の要素を示す。
【0045】
入力映像信号及び、第1から第3の1H遅延手段1〜3からの信号は、それぞれ走査線D、C、B、Aの信号として入力され、1D遅延手段により遅延されることで、図2に示すような画素の信号を得る。各画素の信号は、それぞれの方向に対応する画素の対の差分値を得るため、差分算出手段31a〜31e、31g〜31k、32a〜32e、33g〜33k、33a〜33e、33g〜33kへと入力され、減算後の差分絶対値は絶対値算出手段41〜43で求められ、その値が出力される。
【0046】
<相関値算出手段>
相関値算出手段5は、差分絶対値算出手段4から第1及び第2の差分絶対値L1(−5)〜L1(−1)、L2(−5)〜L2(−1)、L3(−5)〜L3(−1)、R1(5)〜R1(1)、R2(5)〜R2(1)、及びR3(5)〜R3(1)が入力され、これらの差分絶対値を用い、各方向における差分絶対値を加算した相関値を算出する。
上記で説明したように、差分絶対値は選択された画素対における画素間の信号値の近さを示し、差分絶対値が小さい場合は、画素対の相関性が高く、差分絶対値が大きい場合は、画素対の相関性が小さいといえる。従って、同一方向における差分絶対値を加算した相関値は、値が大きければその方向における相関性が低く、値が小さければ相関性が高い。
【0047】
図8は、相関値算出手段5の一構成例を示すブロック図であり、51a〜51eおよび51g〜51kは、各方向における画素対から算出された第1及び第2の差分絶対値を加算する加算手段である。
加算手段51a〜51eは、各方向a(aは負の数)における第1及び第2の差分絶対値L1(a)、L2(a)、及びL3(a)を加算した相関値LU(a)=L1(a)+L2(a)+L3(a)を算出する。同様に、加算手段は、各方向a(aは正の数)における第1及び第2の差分絶対値R1(a)、R2(a)、及びR3(a)を加算した相関値RU(a)=R1(a)+R2(a)+R3(a)を算出する。この相関値LU(a)及びRU(a)は、方向aにおける相関性を示す値である。
【0048】
<平均値値算出手段>
平均値算出手段6は、相関値算出手段5から入力された相関値LU(−5)からLU(−1)及び相関値RU(1)からRU(5)を用いて、隣接する方向を考慮した相関性を算出する。隣接する方向を考慮した相関性を算出することにより、全体の傾向を考慮した相関方向を検出でき、誤検出が減る。
【0049】
平均値算出手段6は、方向−5、−4、及び−3からなる第1の領域、方向−4、−3、及び−2からなる第2の領域、方向−3、−2、及び−1からなる第3の領域、並びに方向5、4、及び3からなる第4の領域、方向4、3、及び2からなる第5の領域、方向3、2、及び1からなる第6の領域の各領域において、相関値の平均値を算出し、最小相関値方向選択手段7に出力する。
【0050】
図9は、平均値算出手段6の一構成例を示すブロック図であり、61a〜61c及び61d〜61fは、相関値の平均値を算出する平均値算出器である。第1の領域(方向−5、−4、−3)については、相関値LU(−5)、LU(−4)、及びLU(−3)が平均値算出器61aに入力され、3方向での相関値の平均値LUA1=(LU(−5)+LU(−4)+LU(−3))/3を算出する。同様に、第2の領域(方向−4、−3、−2)については、平均値算出器61bが平均値LUA2=(LU(−4)+LU(−3)+LU(−2))/3を算出し、第3の領域(−3、−2、−1)については、平均値算出器61cが平均値LUA3=(LU(−3)+LU(−2)+LU(−1))/3を算出する。
【0051】
また、第4の領域(方向5、4、3)については、相関値RU(5)、RU(4)、及びRU(3)が平均値算出器61dに入力され、3方向での相関値の平均値RUA4=(RU(5)+RU(4)+RU(3))/3を算出する。同様に、第5の領域(方向4、3、2)については、平均値算出器61eが平均値RUA5=(RU(4)+RU(3)+RU(2))/3算出し、第6の領域(3、2、1)については、平均値算出器61fが平均値RUA6=(RU(3)+RU(2)+RU(1))/3を算出する。
【0052】
<最小相関値方向選択手段>
最小相関値方向選択手段7は、相関値算出手段5から入力された各方向における相関値LU(−5)〜LU(−1)、及び相関値RU(5)〜RU(1)、並びに平均値算出手段6から入力された第1から第6の領域における相関値の平均値LUA1〜LUA3、及び平均値RUA4〜RUA6を用いて相関方向を選択し、補間方向の候補として出力する。
【0053】
まず、最小相関値方向選択手段7は、相関値の平均値が最小となる領域を選択する。そして、選択された領域内において最も小さい相関値を持つ方向を選択し、その方向を最も相関性が高い補間方向の候補として出力する。
即ち、相関値の平均が最小となる領域は、第1から第6の領域の中で最も相関性が高い方向の領域と考えることができ、さらにその領域内で最も相関値が小さい方向は、最も相関性が高い方向と考えられるからである。
【0054】
図10は、最小相関値方向選択手段7の一構成例を示すブロック図である。図において、71a〜71fは第1から第6の領域内での最小相関値を持つ方向を検出し、その方向を出力する最小相関値方向検出手段、72は第1から第6の領域における相関値の平均値から、最小の平均値を持つ領域を選択する最小平均値選択手段、73は最小平均値選択手段72が選択した領域において、最も小さい相関値を持つ方向を選択し、その選択した方向を示す信号dir1を出力する相関方向選択手段である。
【0055】
最小相関値方向検出手段71a〜71fには、第1から第6の領域内における各方向に対応した相関値LU(a)又はRU(a)が入力され、各領域内で最小の相関値を持つ方向を検出し、その方向を出力する。
例えば、第1の領域(方向−5、−4、−3)については、最小相関値方向検出手段71aに各方向の相関値LU(−5)、LU(−4)、及びLU(−3)が入力され、その中から最小の相関値を持つ方向を検出し、その方向を出力する。
【0056】
同様に、第2の領域(方向−4、−3、−2)については、最小相関値方向検出手段71bに相関値LU(−4)、LU(−3)、及びLU(−2)が入力される。第3の領域(−3、−2、−1)については、最小相関値方向検出手段71cに相関値LU(−3)、LU(−2)、LU(−1)が入力される。第4の領域(方向5、4、3)については、最小相関値方向検出手段71dに相関値RU(5)、RU(4)、及びRU(3)が入力され、第5の領域(方向4、3、2)については、最小相関値方向検出手段71eに相関値RU(4)、RU(3)、及びRU(2)が入力され、第6の領域(3、2、1)については、最小相関値方向検出手段71fに相関値RU(3)、RU(2)、及びRU(1)が入力される。そして、各最小相関値方向検出手段71bから71fにおいて、各領域内で最小の相関値を持つ方向が検出され、その方向を示す信号が出力される。
【0057】
なお、各領域内で最小の相関値を持つ方向が2個以上ある場合は、方向0である走査線直交方向に近い方向を検出するものとする。また、方向を示す信号としては、図2で定義した正の値1〜5、負の値−1〜−5、又は垂直方向0のいずれかの値を出力する。
【0058】
最小平均値選択手段72は、第1から第6の領域における相関値の平均値LUA1〜3、及び相関の平均値RUA4〜6から最小値となる領域を選択し、選択された領域を示す信号davgを出力する。選択手順としては、平均値LUA1〜3から最小の値となる平均値を抽出し、同様に平均値RUA4〜6から最小の値となる領域を抽出し、さらに抽出された両者を比較してより平均値の小さい領域を選択する方法がある。
【0059】
まず、第1の領域から第3の領域において、例えば平均値LUA1が最小の場合、第1の領域が抽出されたことを示す信号davg=1を出力する。同様に、平均値LUA2が最小の場合、第2の領域が抽出されたことを示す信号davg=2を出力する。一方、第4の領域から第6の領域において、例えば平均値RUA1が最小の場合、第4の領域が抽出されたことを示す信号davg=4を出力する。
次に、抽出された両者の値を比較して、より平均値が小さい領域aを選択し、信号davg=a(aは整数)を出力する。なお、両者の値が同じである場合は、走査線直交方向である0を選択し、方向0が選択されたことを示す信号davg=0を出力する。
【0060】
相関方向選択手段73は、まず最小平均値選択手段72において選択された領域davgに対応する最小相関値方向検出手段を特定する。そして、特定された最小相関値方向検出手段における領域内で最小の相関値を持つ方向を選択し、選択した方向を示す信号dir1を補間方向の候補として出力する。例えば、最小平均値選択手段72が相関値の平均値が最小となる領域として第1の領域を選択した場合、最小平均値選択手段72は信号davg=1を出力する。この信号davg=1に基づいて、相関方向選択手段73は、最小相関値方向検出手段71aから出力された、第1の領域内における最小の相関値を持つ方向を出力する。例えば方向1が最小の相関値である場合、相関方向選択手段73は相関方向dir1=1を出力する。
【0061】
同様に、最小平均値選択手段72が相関値の平均値が最小となる領域として第2の領域を選択した場合、最小平均値選択手段72は信号davg=2を出力する。この信号davg=2に基づいて、相関方向選択手段73は、最小相関値方向検出手段71bから出力された、第2の領域内における最小の相関値を持つ方向を選択する。以下同様に、最小平均値選択手段72が選択した領域に基づき、最小相関値方向検出手段71から最小の相関値をもつ領域を出力する。
なお、信号davg=0をである場合は、相関性の高い方向が走査線直交方向であるので、相関方向を方向dir1=0として出力する。
【0062】
以上の説明したように、相関方向検出手段13は補間画素P0を点対称の中心とした11の方向の中から相関性の高い方向を選択し、その相関方向を画素信号P(0)を生成するための補間方向の候補として決定する。
また、相関方向検出手段13は必ず一方向の相関方向を検出するので、補間方向の候補がない事態を防止することができる。
【0063】
<細線検出手段>
次に、相関方向検出手段13において相関性が高いと判断された方向にはどのような図形が存在しているのかを細線検出手段8とエッジ検出手段9で判断する。特に、細線検出手段8の出力結果と相関方向検出手段13の出力結果とから、細線の存在が検出可能となる。すなわち、細線検出手段8は上記で説明した相関方向検出手段13とは関係無く独自に各方向における細線の有無を検出し、各方向ごとの検出結果を相関方向決定手段10に出力する。相関方向決定手段10において、相関方向検出手段13から出力された相関性が高いと判断された方向と、細線検出手段8から出力されたその方向における細線の有無とを比較し、細線の有無を判断する。
また、相関方向検出手段13は背景上にある画素対を相関性が高いと誤って検出している可能性があるので、相関方向検出手段13の出力結果と細線検出手段8の出力結果とを比較することによりそのような誤検出を排除することも可能となる。
つまり、本実施の形態に係る発明において細線検出手段8を備えることにより、相関方向検出手段13にて検出した方向が細線であるかを判断することが可能となる。
【0064】
細線検出手段8の機能について例を用いて説明する。
例えば、図2における画素B−5と、画素B−5に走査線直交方向に隣接する画素A−5、C−5の合計3画素を考える。幅が狭い細線が存在すると3画素の中間に位置する画素B−5のみが細線上にあり、その他の上下に位置する2つの画素A−5、C−5は細線上にはない。従って、中間に位置する画素の信号B(−5)と上方向に隣接する画素の信号A(−5)との差分値B(−5)−A(−5)と、中間に位置する画素の信号B(−5)と下方向に隣接する画素の信号C(−5)との差分値C(−5)−B(−5)とを比較すると、両者の差分値は所定値より大きくなり、かつ両者の符号は反対となる。
【0065】
同様に、画素C5と、画素C5に走査線直交方向に隣接する画素B5、D5の合計3画素を考える。この場合も幅が狭い細線が存在すると、差分値C(5)−B(5)と、差分値D(5)−C(5)とを比較すると、両者の差分値は所定値より大きくなり、かつ両者の符号は反対となる。
さらに、細線が方向−5に存在するとすれば、差分値B(−5)−A(−5)とC(5)−B(5)とが同一符号となり、差分値C(−5)−B(−5)とD(5)−C(5)とが同一符号となる。
細線検出手段8は上記で説明した現象を検出し、細線の存在を検出する。
【0066】
図11及び図12は、細線境界検出手段8の一構成例を示すブロック図である。図11において、21a〜21k、22a〜22k、23a〜23k、24a〜24kは1D遅延手段であり、図5〜7におけるものと同一である。81a〜81e、81g〜81k、82a〜82e、82g〜82k、83a〜83e、83g〜83kは画素間の信号の差分を算出する差分算出手段である。
図12において、84a〜84e、84g〜84kは各方向毎に、走査線直交方向に隣接する画素の差分値を比較する比較手段である。
【0067】
入力映像信号及び、第1から第3の1H遅延手段1〜3からの信号は、それぞれ走査線D、C、B、Aの信号として細線境界手段8に入力され、1D遅延手段により遅延されることで、図2に示すような画素の信号を得る。各画素の信号は、走査線直交方向に対応する画素の対の差分値を得るため、差分算出手段81a〜81e、81g〜81k、82a〜82e、82g〜82k、83a〜83e、83g〜83kにそれぞれ入力される。
【0068】
例えば、図3に示すように、方向−5である画素B−5と画素C5とが第1の画素対として選択された場合を考える。まず、画素B−5に隣接し走査線A上にある画素A−5、画素B−5に隣接し走査線C上にある画素C−5、画素C5に隣接し走査線B上にある画素B5、及び画素C5に隣接し走査線D上にある画素D5の各画素を抽出する。さらに、これら画素に対応する信号A(−5)、C(−5)、B(5)、及びD(5)と、画素B−5に対応する信号B(−5)、画素C5に対応する信号C(5)から、走査線直交方向に隣接する画素を第3の画素対として選択し組み分けする。従って、画素A−5と画素B−5との画素対、画素B−5と画C−5との画素対、画素B5と画素C5との画素対、及び画素C5と画素D5との画素対の合計4組に分けて選択することになる。最後に、それぞれの画素対に対応する信号の差分値tl1(−5)=A(−5)−B(−5)、tl2(−5)=B(−5)−C(−5)、tl2(5)=B(5)−C(5)、及びtl3(5)=C(5)−D(5)を算出する。
【0069】
この場合、差分値tl1(−5)は図11における差分算出手段81kにより求められ、差分値tl2(−5)は差分算出手段82kにより求められ、差分値tl2(5)は差分算出手段82aにより求められ、差分値tl3(5)は差分算出手段83aにより求められる。
【0070】
同様に、方向−4である画素B−4と画素C4とが第1の画素対として選択された場合を考える。まず、走査線A上にあり画素B−4に隣接する画素A−4、走査線C上にあり画素B−4に隣接する画素C−4、走査線B上にあり画素C4に隣接する画素B4、及び走査線D上にあり画素C4に隣接する画素D4の画素をそれぞれ抽出する。さらに、これら画素に対応する信号A(−4)、C(−4)、B(4)、及びD(4)と、画素B−4に対応する信号B(−4)、画素C4に対応する信号C(4)から、走査線直交方向に隣接する画素を第3の画素対として選択し組み分けする。従って、画素A−4と画素B−4との画素対、画素B−4と画C−4との画素対、画素B4と画素C4との画素対、及び画素C4と画素D4との画素対の合計4組に分けて選択することになる。最後に、それぞれの画素に対応する信号の差分値tl1(−4)=A(−4)−B(−4)、tl2(−4)=B(−4)−C(−4)、及びtl2(4)=B(4)−C(4)、及びtl3(4)=C(4)−D(4)を算出する。
【0071】
この場合、差分値tl1(−4)は図11における差分算出手段81jにより求められ、差分値tl2(−4)は差分算出手段82jにより求められ、差分値tl2(4)は差分算出手段82bにより求められ、差分値tl3(4)は差分算出手段83bにより求められる。
【0072】
同様に、画素B−3と画素C3とを結ぶ方向−3において差分値tl1(−3)、tl2(−3)、tl2(3)及びtl3(3)、画素B−2と画素C2とを結ぶ方向−2において差分値tl1(−2)、tl2(−2)、tl2(2)及びtl3(2)、画素B−1と画素C1とを結ぶ方向−1において差分値tl1(−1)、tl2(−1)、tl2(1)及びtl3(1)、画素B1と画素C−1とを結ぶ方向1において差分値tl1(1)、tl2(1)、tl2(−1)及びtl3(−1)、画素B2と画素C−2とを結ぶ方向2において差分値tl1(2)、tl2(2)、tl2(−2)及びtl3(−2)、画素B3と画素C−3とを結ぶ方向3において差分値tl1(3)、tl2(3)、tl2(−3)及びtl3(−3)、画素B4と画素C−4とを結ぶ方向4において差分値tl1(4)、tl2(4)、tl2(−4)及びtl3(−4)、画素B5と画素C−4とを結ぶ方向5において差分値tl1(5)、tl2(5)、tl2(−5)及びtl3(−5)をそれぞれ算出する。
【0073】
算出された差分値tl1(−5)からtl(−1)、tl1(1)からtl(5)、tl2(−5)からt2(−1)、tl2(1)からt2(5)、tl3(−5)からt3(−1)、tl3(1)からt3(5)は、図12に示す比較手段84a〜84kにそれぞれ入力される。比較手段84a〜84kは、補間画素P0を中心として点対称の位置にある差分値が入力され、その差分値を所定値THaと比較し、さらに差分値間の符号を比較する。
【0074】
例えば、図3に示す方向−5が選択された場合は、A(−5)−B(−5)によって求められる差分値tl1(−5)、B(−5)−C(−5)によって求められる差分値tl2(−5)、B(5)−C(5)によって求められる差分値tl2(5)、及びC(5)−D(5)によって求められる差分値tl3(5)が、比較器84aに入力される。
比較手段84aは、まず、差分値tl1(−5)、tl2(−5)、tl2(5)、及びtl3(5)をそれぞれ所定値THaと比較する。さらに、差分値tl1(−5)、tl2(−5)、tl2(5)、及びtl3(5)の符号を判定する。
【0075】
検出対象の細線は幅が狭い。従って、例えば画素A−5と画素C−5との間に斜め線が存在する場合、画素B−5のみが線上にあり、画素A−5及び画素C−5は線上にない状態となる。この場合、画素B−5の信号と画素A−5及び画素C−5の信号とは大きく異なる値を示す。従って画素A−5と画素B−5との信号の差分値tl1(−5)と、画素B−5と画素C−5との信号の差分値tl2(−5)は所定値THaより大きくなり、かつ、差分値tl1(−5)とtl2(−5)の符号は反対になる。同様に、画素B5と画素D5との間に斜め線が存在する場合、画素C5の信号のみが画素B5及び画素D5の信号とは大きく異なる値を示す。従って画素B5と画素C5との信号の差分値tl2(5)と、画素C5と画素D5との信号の差分値tl3(5)は所定値THaより大きくなり、かつ、差分値tl2(5)とtl3(5)の符号は反対になる。
【0076】
以上より、図3における画素B−5と画素C5が細線上にあるとすると、差分値tl1(−5)、tl2(−5)、tl2(5)、及びtl3(5)のすべてが所定値THaより大きく、かつ、差分値tl1(−5)の符号とtl2(−5)の符号は反対となり、差分値tl2(5)の符号とtl3(5)の符号は反対であり、さらに、差分値tl1(−5)の符号とtl2(5)の符号が同一、差分値tl2(−5)の符号とtl3(5)の符号が同一となる。この条件を全て満たすとき、方向−5に斜め線が存在するとして、フラグ信号thflag(−5)=1を出力する。一方、該当しない条件が一つでもある場合は、方向−5に細線は存在しないとして、フラグ信号thflag(−5)=0を出力する。
【0077】
同様に、方向−4から−1に対し、比較手段84bから84eにおいて差分値と差分値符号を比較し、細線が存在するとして検出される場合は各々フラグ信号thflag(−a)=1を出力し、線の存在しないと検出された場合はthflag(−a)=0を出力する(aは整数)。
【0078】
また、図4に示すように、画素B5と画素C−5を結ぶ方向5が選択された場合も上記場合と同様である。画素C−5に隣接する画素B−5、及び画素D−5、並びに画素B5に隣接する画素A5、及び画素C5をそれぞれ抽出する。さらに、これら画素に対応する信号B(−5)、D(−5)、A(5)、及びC(5)と、画素B5に対応する信号B(5)、画素C−5に対応する信号C(−5)を、画素B−5と画素C−5との画素対、画素C−5と画D−5との画素対、画素A5と画素B5との画素対、及び画素B5と画素C5との画素対の合計4組に分けて選択することになる。最後に、それぞれの画素に対応する信号の差分値tl2(−5)=B(−5)−C(−5)、tl3(−5)=C(−5)−D(−5)、tl1(5)=A(5)−B(5)、及びtl2(5)=B(5)−C(5)を算出する。なお、tl2(−5)及びtl2(5)は方向−5を算出した際に既に算出してある。
【0079】
この場合、差分tl3(−5)は図11における差分算出手段83kにより求められ、差分tl1(5)は差分算出手段81kにより求められる。
【0080】
そして、差分値tl1(5)、tl2(5)、tl2(−5)、及びtl3(−5)のすべてが所定値THaより大きく、かつ、差分値tl1(5)の符号とtl2(5)の符号は反対であること、及び差分値tl2(−5)の符号とtl3(−5)の符号は反対であり、さらに、差分値tl1(5)の符号とtl2(−5)の符号が同一であり、差分値tl2(5)の符号とtl3(−5)の符号が同一である場合、方向5に斜め線が存在するとして、フラグ信号thflag(5)=1を出力する。該当しない条件がある場合は細線が存在しないとして、フラグ信号thflag(5)=0を出力する。
【0081】
同様に、画素B4と画素C−4を結ぶ方向4が選択された場合は、新たに差分値tl3(−4)=C(−4)−D(−4)、及びtl1(4)=A(4)−B(4)が算出され、画素B3と画素C−3を結ぶ方向3が選択された場合は、新たに差分値tl3(−3)=C(−3)−D(−3)、及びtl1(3)=A(3)−B(3)が算出され、画素B2と画素C−2を結ぶ方向2が選択された場合は、新たに差分値tl3(−2)=C(−2)−D(−2)、及びtl1(2)=A(2)−B(2)が算出され、画素B1と画素C−1を結ぶ方向1が選択された場合は、新たに差分値tl3(−1)=C(−1)−D(−1)、及びtl1(1)=A(1)−B(1)がそれぞれ算出される。
【0082】
そして、新たに算出された差分値や既に算出された差分値が、図12に示す比較手段84g〜84kにそれぞれ入力される。各方向4から1に対し、比較手段84gから84kにおいて差分値と差分値符号を比較し、細線が存在するとして検出される場合は各々フラグ信号thflag(a)=1を出力し、細線が存在しないと検出された場合はフラグ信号thflag(a)=0を出力する(aは整数)。
【0083】
従って、方向−5から−1、及び方向5から1の合計10方向についてフラグ信号thflag(a)が出力される。これらのフラグ信号thflag(a)は、後述する相関方向決定手段10において必要となる。すなわち、相関方向決定手段10において、相関方向検出手段13から出力された補間方向の候補が細線であるか否かを判定するために、フラグ信号thflag(a)が用いられる。
【0084】
<エッジ検出手段>
次にエッジ検出手段9の動作を説明する。上記で説明した細線検出手段8は、細線を検出することを目的としていたが、エッジ検出手段9は、細線よりは面積の大きい画像を検出することを目的としており、具体的には図形の境界線、すなわちエッジを検出する。
細線検出手段8において説明した通り、相関方向検出手段13は背景上にある画素対を相関性が高いと誤って検出している可能性がある。したがって、そのような誤検出を排除するために、エッジ検出手段9により各方向のエッジの存在を検出し、後述する相関方向決定手段10において相関方向とエッジの存在との整合をとり、補間方向を決定する。
なお、検出のために用いられる差分値は、第2の差分絶対値L1(a)とL3(a)、又はR1(a)とR3(a)、補間画素P0に走査線直交方向に隣接する画素B0と画素C0における信号B(0)、C(0)の差分値、及びL1(a)とL3(a)を算出する際に使用した画素を走査線直交方向に選択した第4の画素対における画素間の第4の差分値である。
【0085】
図13は、方向−5の場合におけるエッジ検出手段9の動作を説明するため図であり、図15は、方向−5の場合におけるエッジ検出手段9の一構成例を示すブロック図である。図15において、21a〜21k、22a〜22k、23a〜23k、24a〜24kは1Dの信号を遅延する1D遅延手段であり、図5〜7におけるものと同一である。91〜95は差分算出手段、96、97は差分絶対値算出手段である。
【0086】
方向−5の場合、まず、画素B−5、及び画素C5とが第1の画素対として選択される。そして、画素B−5に隣接し走査線A上にある画素A−5、画素B−5に隣接し走査線C上にある画素C−5、画素C5に隣接し走査線B上にある画素B5、及び画素C5に隣接し走査線D上にある画素D5の各画素を抽出する。さらに、これら画素に対応する信号A(−5)、C(−5)、B(5)、及びD(5)を、各画素対における画素間を直線で結ぶ場合、画素B−5と画素C5とを結ぶ直線と平行なるように、第2の画素対として選択し組み分けする。従って、画素A−5と画素B5との画素対、画素C−5と画素D5との画素対の2組に分けて選択することになる。最後に、第2の差分絶対値L1(−5)=|A(−5)−B(5)|、L3(−5)=|C(−5)−D(5)|を算出する。なお、L1(−5)、L3(−5)は、差分絶対値算出手段4において算出した値を用いてもよい。
次に、第2の画素対における画素を走査線直交方向に第4の画素対として選択し、第4の画素対における画素間の信号の差分である第4の差分値LTr(−5)=A(−5)−C(−5)、RTr(−5)=B(5)−D(5)を算出する。
最後に、補間画素P0に走査線直交方向に隣接する画素B0と画素C0との信号の差分値CTr=B(0)−C(0)を算出する。
【0087】
差分値CTr=B(0)−C(0)を算出するのは図15における差分算出手段91、第4の差分値LTr(−5)=A(−5)−C(−5)、RTr(−5)=B(5)−D(5)を算出するのは差分算出手段92、94である。また、第2の差分絶対値L1(−5)=|A(−5)−B(5)|、L3(−5)=|C(−5)−D(5)|は、差分算出手段93、95及び差分絶対値算出手段96、97により算出される。
【0088】
次に、得られたL1(−5)、L3(−5)、LTr(−5)、RTr(−5)、及びCTrから、方向−5において図形のエッジが存在するか否かを検出する。
図16は、方向a(aは整数)において図形のエッジの検出を行うエッジ検出手段の一構成例を示すブロック図である。
図において、101は第4の差分値LTr(a)、RTr(a)、及び差分値CTrから最大値を検出する最大値検出手段、102は第4の差分値LTr(a)、RTr(a)、及び差分値CTrから最小値を検出する最小値検出手段、103は第4の差分値LTr(a)、RTr(a)と、差分値CTrとの符号の一致を判定する符号一致判定手段、104は最大値検出手段101により検出した最大値と、最小値検出手段102により検出した最小値との差分絶対値を求める差分絶対値演算手段、105は差分絶対値算出手段104により算出された値と所定値とを比較する比較手段a、106は最小値検出手段102により検出した最小値を所定値とを比較する比較手段b、107は第2の差分絶対値L1(a)、L3(a)又はR1(a)、R3(a)を所定値と比較する比較手段cであり、108はエッジ検出を判定する判定手段である。
【0089】
最大値検出手段101は、第4の差分値LTr(a)、RTr(a)、及び差分値CTrから最大値を検出し、検出した値を最大値nmaxとして出力する。
同様に最小値検出手段102は、第4の差分値LTr(a)、RTr(a)、及び差分値CTrから最小値を検出し、検出した値を最小値nminとして出力する。
符号一致判定手段103は第4の差分値LTr(a)、RTr(a)、及び差分値CTrの符号が同一か否かを判定する。
【0090】
方向−5において図形のエッジがある場合は、第4の差分値LTr(a)、RTr(a)、及び差分値CTrの符号がすべて同一でなければならない。そこで、第4の差分値LTr(a)、RTr(a)、及び差分値CTrの符号がすべて同一である場合はフラグ信号fd3=1を出力し、一つでも異なる符号の値がある場合はフラグ信号fd3=0を出力する。
【0091】
差分絶対値算出手段104は、最大値検出手段101から出力された最大値nmaxと、最小値検出手段102から出力された最小値nminとから差分絶対値を算出し、算出した差分絶対値を比較手段b106に出力する。
比較手段a105は、差分絶対値演算手段104から出力された差分絶対値を所定値THbと比較する。方向−5において図形のエッジがある場合は、第4の差分値LTr(a)、RTr(a)、及び差分値CTrの符号は同一でなければならず、かつ近似した値でなければならない。何故なら、最大値と最小値の差が大きい場合は方向−5以外に図形のエッジがあると判断できるからである。
【0092】
従って、最大値と最小値との差分絶対値が所定値THbより小さい場合、方向−5に図形のエッジが存在するとして比較手段a105はフラグ信号fd1=1を出力する。一方、差分絶対値が所定値THbより大きい場合は、フラグ信号fd1=0を出力する。
【0093】
比較手段b106は、最小値検出手段102から出力された最小値nminを所定値THcと比較する。方向−5に図形のエッジが存在する場合は、第4の差分値LTr(a)、RTr(a)、及び差分値CTrのいずれかである最小値nminは所定値THcより大きくなる。
従って、最小値nminが所定値THcより大きい場合、比較手段b106はフラグ信号fd2=1を出力する。一方、最小値nminが所定値THcより小さい場合は、フラグ信号fd2=0を出力する。
【0094】
比較手段c107は、第2の差分絶対値L1(a)とL3(a)、又はR1(a)とR3(a)の値をそれぞれ所定値THdと比較する。方向−5に図形のエッジがある場合は、図形の内側にある画素の信号は近似した値でなければならず、かつ、図形の外側にある画素の信号も近似した値でなければならない。
従って、方向−5に図形のエッジがある場合は、第2の差分絶対値L1(a)とL3(a)、又はR1(a)とR3(a)のどちらの値も所定値THdより小さくなる。
第2の差分絶対値が所定値THdより小さい場合、比較手段c107はフラグ信号fd4=1を出力し、どちらか一方でも所定値THdより大きい場合はフラグ信号fd4=0を出力する。
【0095】
判定手段108は、フラグ信号fd1〜4に基づき、方向aに図形のエッジがあるかを判定する。判定は、フラグ信号fd1〜4の条件が全て1の場合に図形のエッジを検出し、フラグ信号bundflag(a)=1を出力する。フラグ信号fd1〜4の条件のうち一つでも0であれば、図形のエッジはないと判定してフラグ信号bundflag(a)=0を出力する。
【0096】
上記と同様な手順により、方向−4から−1に対しても、第2の差分絶対値L1(a)、L3(a)、第4の差分値LTr(a)、RTr(a)を算出し、それぞれの方向について図形のエッジの判定を行い、フラグ信号bundflag(a)を出力する。
【0097】
また、方向5の場合について図14に示す。操作手順は、上記と同様である。まず、画素B5、及び画素C−5とが第1の画素対として選択される。そして、画素A5と画素B−5、画素C5と画素D−5のそれぞれの画素対が第2の画素対として選択される。さらに、画素A5と画素C5、画素B−5と画素D−5のそれぞれの画素対が第4の画素対として選択される。
画素対が選択された後、第2の差分絶対値R1(5)=|A(5)−B(−5)|、R3(5)=|C(5)−D(−5)|、第4の差分値RTr(5)=A(5)−C(5)、LTr(5)=B(−5)−D(−5)、差分値CTrを算出する。
【0098】
算出した値を図16を用いて説明した手順により処理し、方向5に図形のエッジが存在するか否かを検出し、図形のエッジが存在すると判定した場合は、フラグ信号bundflag(a)=1を出力し、図形のエッジが存在しない判定した場合はフラグ信号bundflag(a)=0を出力する。
同様に、方向4から1に対しても第2の差分絶対値R1(a)、R3(a)、第4の差分値LTr(a)、RTr(a)を算出し、それぞれの方向について図形のエッジの判定を行い、フラグ信号を出力する。
【0099】
従って、方向−5から−1、及び方向5から1の合計10方向についてフラグ信号bundflag(a)が出力される。これらのフラグ信号bundflag(a)は、後述する相関方向決定手段10において必要となる。すなわち、相関方向決定手段10において、相関方向検出手段13から出力された補間方向の候補が図形のエッジであるか否かを判定するために、フラグ信号bundflag(a)が用いられる。
【0100】
<相関方向決定手段>
相関方向決定手段10には、相関方向検出手段13から出力された相関方向dir1と、細線検出手段8から出力されたフラグ信号thflagと、エッジ検出手段9から出力されたフラグ信号bundflagとが入力される。
相関方向決定手段10は、これらの信号から相関方向dir1における細線、図形のエッジを検出し、補間方向を決定する。
【0101】
図17は、相関方向決定手段10の処理を示すフローチャートである。処理手順は以下の通りである。
まず、相関方向検出手段13から出力された相関方向を補間方向の最有力候補として扱う。次に、その相関方向が背景等の誤検出でないかを確認するため、細線検出手段8及びエッジ検出手段9の検出結果と相関方向を比較する。この時、細線または図形のエッジと検出された場合は、相関方向を補間方向として決定する。なお、必要であれば相関方向を補正する。
以下、図17を用いて、相関方向決定手段10の処理の詳細を説明する。
【0102】
まず、相関方向決定手段10には、相関方向検出手段13から出力された相関方向dir1=aが入力される(s1)。この相関方向dir1=aが補間方向の最有力候補である。
そして、選択相関方向dir1の値aが、走査線直交方向である0か0以外であるかを判断する(s2)。ところで走査線B上、C上にあり補間画素P0に最も近い画素は、補間画素P0に隣接する画素B0、C0である。従って、通常は画素B0、C0を結ぶ走査線直交方向である方向0が、補間画素P0と相関が高いと考えられる。したがって、相関方向検出手段13にて検出された方向dir1が0であれば、相関方向を方向0に確定する(s3)。
【0103】
dir1=0でない場合は、方向dir1=aに対応するフラグ信号thflag(a)に従う(s4)。すなわち、方向aにおいて細線が検出されたと判定された場合は、細線検出手段8からフラグ信号thflag(a)=1が出力されている。方向dir1=aとフラグ信号thflag(a)=1の両者の条件がそろった場合は、検出された方向は細線上にあると判断できるので、相関方向を方向dir1=aに確定する(s5)。
一方、方向aにおいて細線が検出され無かった場合は、フラグ信号thflag(a)=0となる。この場合は、方向dir1=aに対応するエッジ検出手段9から出力されたフラグ信号bundflag(a)に従う(s6)。すなわち、方向aにおいて図形のエッジが検出されたと判定された場合は、エッジ検出手段9からフラグ信号bundflag(a)=1が出力されている。方向dir1=aとフラグ信号bundflag(a)=1の両者の条件がそろった場合は、検出された方向は図形のエッジ上にあると判断できるので、相関方向を方向dir1=aに確定する(s7)。
【0104】
方向aにおけるフラグ信号がthflag(a)=0、かつbundflag(a)=0であり、細線及び図形のエッジが検出されていない場合は、通常、補間画素P0と最も相関性の高いと考えられる走査線直交方向に相関方向を補正する(s8)。
【0105】
図18は、相関方向決定手段10の一構成例を示すブロック図である。
図において、121は相関方向dir1=aに対応した各フラグ信号を選択する選択手段、122、123は切換手段である。
【0106】
選択手段121は、細線検出手段8から出力されたすべてのフラグ信号thflagと、エッジ検出手段9から出力されたすべてのフラグ信号bundflagとが入力され、相関方向検出手段13から出力された相関方向dir1=aに基づいて、フラグ信号thflag(a)とフラグ信号bundflag(a)とを選択する。
切換手段a122は、選択手段121において選択したフラグ信号がbundflag(a)=1である場合は、入力された相関方向dir1=aをそのまま切換手段b123に出力し、フラグ信号bundflag(a)=0である場合は、相関方向dir1を0に切換えて出力する。
切換手段b123は、選択手段121において選択したフラグ信号がthflag(a)=1である場合は、相関方向dir2(=dir1)=aとして出力し、フラグ信号thflag(a)=0である場合は、相関方向dir2(=dir1)=0と切換えて出力する。
【0107】
<孤立方向補正手段>
次に孤立方向補正手段11について説明する。孤立方向補正手段11は、相関方向決定手段10から出力された相関方向dir2に基づき、補間画素と相関方向と、その補間画素と隣接する画素の相関方向とを比較する。その結果により必要であれば、相関方向の補正を行う。補間画素の相関方向と、隣接する画素の相関方向とが大きく異なっている場合は、補間画素の相関方向が誤っていると考えられるからである。
【0108】
図19は孤立方向補正手段11の一構成例を示すブロック図であり、130a〜130cは1D遅延手段、131、132は差分絶対値算出手段、133,134は比較手段、136は孤立方向判定手段、135は方向切換手段である。
例えば、補間画素P(−1)における相関方向dir2が入力される場合を考える。まず、補間画素P(−1)における相関方向dir2は1D遅延手段130a、130c、及び差分絶対値算出手段b132に入力される。1D遅延手段130aは入力された相関方向dir2を1D分遅延し、相関方向dir3として出力する。さらに、1D遅延手段130bは入力された相関方向dir3を1D分遅延し、相関方向dir4として出力する。従って、相関方向dir3は補間画素P(0)に対応した相関方向となり、相関方向dir4は補間画素P(1)に対応した相関方向となる。
【0109】
差分絶対値演算手段a131は、1D遅延手段130aから出力された補間画素P(0)に対応する相関方向dir3と、1D遅延手段130bから出力された補間画素P(1)に対応する相関方向dir4との差分絶対値を算出して比較手段a133に出力する。同様に、差分絶対値演算手段b132は、入力された補間画素P(−1)に対応する相関方向dir2と、1D遅延手段130aから出力された補間画素P(0)に対応する相関方向dir3との差分絶対値を算出して比較手段b134に出力する。
比較手段a133は差分絶対値を所定値THiと比較し、差分絶対値が所定値THi以内であればフラグ信号th1=1を出力し、所定値THiより大きければフラグ信号th1=0を出力する。
同様に、比較手段b134は差分絶対値を所定値THiと比較し、差分絶対値が所定値THi以内であればフラグ信号th2=1を出力し、所定値THiより大きければフラグ信号th2=0を出力する。
なお、所定値THiは任意の値をとすることができる。
【0110】
孤立方向判定手段136は、比較手段a133から入力されたフラグ信号がth1=0、かつ、比較手段b134から入力されたフラグ信号がth2=0である場合は、フラグ信号th3=0を出力する。それ以外の、フラグ信号th1とth2の値が両者とも1である場合、またはどちらか一方の値が1である場合は、フラグ信号th3=1を出力する。
方向切換手段135は、孤立方向判定手段136から入力されたフラグ信号th3の値が1である場合は、相関方向dir3=aをそのまま補間画素P0における相関方向dir5=aとして出力する。また、孤立方向判定手段136から入力されたフラグ信号th3の値が0である場合は、補間画素P0におけるdir3=aは隣接する画素の相関方向との相関性が低く、孤立した方向であると判定して相関方向dir5を例えば走査線直交方向である0に切換えて出力する。
なお、切換える値は0以外にも、隣接するどちらか一方の画素の相関方向と同じにしてもよい。
【0111】
このように、画像の背景部を相関方向として誤検出した場合等でも、孤立方向補正手段11により相関方向を補正するので、周囲から孤立した相関方向を除去できる。
【0112】
<相関方向補間手段>
次に相関方向補間手段12について説明する。相関方向補間手段12は、孤立方向補正手段11から出力された相関方向dir5に基づいて、走査線B上の画素および走査線C上の画素を選択し、補間画素の信号P(0)を生成する。
図20は、相関方向補間手段12の一構成例を示すブロック図であり、図において、141a〜141k、142a〜142kは1D遅延手段、143は相関方向dir5に従い走査線B上の画素を選択する画素選択手段B、144は相関方向dir5に従い走査線C上の画素を選択する画素選択手段C、145は加算器、146は利得1/2の増幅器である。
【0113】
相関方向補間手段12には、第1及び第2の1H遅延手段1、2から出力されたの信号がそれぞれ走査線C、Bの信号として入力される。そして、走査線B上の各画素の信号は画素選択手段B143に入力され、走査線C上の各画素の信号は画素選択手段C144に入力される。また、画素選択手段143、144には走査線上の画素信号と、孤立方向補正手段11から出力された補間画素P0における相関方向dir5が入力される。画素選択手段143、144は相関方向dir5に基づいて走査線B上、C上の画素を選択し、その画素に対応する信号を加算器145で加算し、増幅器146で利得を1/2として補間画素P0の信号P(0)を生成し、補間画素信号として出力する。
【0114】
図21は、図27において説明した細線がある場合について、本実施の形態における走査線補間装置を適応した場合を説明する図である。図において、白い画素、例えば画素B0、B1等の画素信号を0、黒い画素、例えば画素B2、B3等の画素信号を1とする。
【0115】
まず、補間画素P0を中心として各方向における差分絶対値を計算する。L2(−5)=|B(−5)−C(5)|=0、L1(−5)=|A(−5)−B(5)|=0、L3(−5)=|C(−5)−D(5)|=0、となる。同様に、L1(−4)=1、L2(−4)=L3(−4)=0、L1(−3)=1、L2(−3)=0、L3(−3)=1、L1(−2)=1、L2(−2)=0、L3(−2)=1、L1(−1)=0、L2(−1)=0、L3(−1)=1、となる。さらに、R2(5)=|B(5)−C(−5)|=0、R1(5)=|A(5)−B(−5)|=0、R3(5)=|C(5)−D(−5)|=0、となる。さらに同様に、R1(4)=0、R2(4)=1、R3(4)=0、R1(3)=R2(3)=R3(3)=0、R1(2)=R2(2)=R3(2)=0、R1(1)=0、R2(1)=1、R3(1)=0、となる。これら差分絶対値の算出が差分絶対値算出手段4にて行われる。
【0116】
次に、相関値を算出する。絶対値演算手段4にて算出した値を用いて、LU(−5)=L1(−5)+L2(−5)+L3(−5)=0となる。同様に、LU(−4)=1、LU(−3)=LU(−3)=LU(−2)=2、LU(−1)=1、となる。さらに同様に、RU(5)=0、RU(4)=1、RU(3)=RU(2)=0、RU(1)=1となる。これら相関値の算出が相関値算出手段5にて行われる。
【0117】
さらに、相関値の平均値を算出する。相関値算出手段5にて算出した値を用いて、LUA1=(LU(−5)+LU(−4)+LU(−3))/3=1となる。同様に、LUA2=5/3、LUA3=5/3となる。さらに同様に、RUA4=RUA5=RUA6=1/3となる。これらの値の算出は平均値算出手段6にて行われる。
【0118】
相関値算出手段5と平均値算出手段6にて算出した値が最小相関値方向選択手段7に入力される。最小相関値方向選択手段7では、まず相関値の平均値が小さい領域を選択する。この場合、LUAaのグループで最小値となるのはLUA1である。RUAaのグループではすべての平均値が同じとなるので、走査線直交方向に最も近いRUA6となる。LUA1とRUA6を比較するとRUA6が走査線直交方向に近いので、最終的に選択される領域はRUA6となる。領域RUA6において最小の相関値を持つ方向は方向2と方向3である。走査線直交方向に近い方向は方向2である。従って最小相関値方向選択手段7から出力される相関方向はdir1=2である。このdir1=2が補間方向の最有力候補となる。
【0119】
次に、細線の検出を行う。細線の有無を検出ために、各方向において走査線直交方向に隣接する画素の信号の差分を算出する。差分値はtl1(−5)=A(−5)−B(−5)=0、tl2(−5)=B(−5)−C(−5)=0、tl2(5)=B(5)−C(5)=0、tl3(5)=C(5)−D(5)=0、となる。同様に、tl1(−4)=tl2(−4)=0、tl2(4)=1、tl3(4)=0。tl1(−3)=0、tl2(−3)=−1、tl2(3)=1、tl3(3)=0。tl1(−2)=0、tl2(−2)=−1、tl2(2)=1、tl3(2)=0。tl1(−1)=0、tl2(−1)=−1、tl2(1)=tl3(1)=0。さらに同様に、tl1(5)=tl3(−5)=0。tl1(4)=−1、tl3(−4)=0。tl1(3)=−1、tl3(−3)=1。tl1(2)=−1、tl3(−2)=1。tl1(1)=0、tl3(−1)=1、となる。
さらに算出された差分値を所定比較値と比較し、方向aに細線が存在すると判断された場合はフラグ信号thflag(a)=1、細線が存在しないと判断された場合はフラグ信号thflag(a)=0を出力する。従って、thflag(−5)=thflag(−4)=thflag(−3)=thflag(−2)=thflag(−1)=0、thflag(5)=thflag(4)=0、thflag(3)=thflag(2)=1、thflag(−1)=0、となる。これらのフラグ信号thflag(a)の出力までが細線検出手段8にて行われる。
【0120】
さらに、相関方向決定手段10の機能を説明する。相関方向決定手段10は相関方向決定手段13内の最小相関方向選択手段7から相関方向dir1=2が入力される。この方向dir1=2が補間方向の最有力候補である。また、細線検出手段8からは、上記で説明した各方向における細線の存在の有無についてのフラグ信号が入力される。
方向dir1=2、すなわち方向2において細線検出手段8から入力されたフラグ信号thflag(2)の値は1である。従って、相関方向検出手段13から入力された方向dir1=2は、細線上にある方向であることが分かる。従って相関方向決定手段10は、相関方向dir2を方向dir1と同じ値である2として出力する。このdir2=2が最終的な相関方向となり、補間方向の候補となる。
【0121】
さらに、図21の画像の場合、補間画素P0に左右で隣接する補間画素P−1、P1に対応する相関方向は、それぞれ方向0と方向2である。孤立方向補正手段11はこれらの隣接画素の相関方向から補間画素P0の相関方向2は適当であると判断し、相関方向決定手段10から出力された方向dir2=2を補正せず、相関方向としてdir5=2を出力する。このdir5=2が最終的な補間方向である。dir5=2が入力された相関方向補間手段12は、画素B2の信号B(2)と画素C−2の信号C(−2)とを加算し、その加算値を1/2倍して補間信号P(0)を出力する。
【0122】
同様の手順により、補間画素P1の相関方向を検出すると、補間画素P0と同様にdir5=2となる。従って、補間画素P0の画素信号P(0)は信号B(2)と信号C(−2)により決定され、補間画素P1の画素信号P(1)は信号B(3)と信号C(−1)により決定されるので、細線は切断されることはなく補間される。
【0123】
また、図22は、図26において説明した図形のエッジがある場合について、本実施の形態で説明した走査線補間装置を適用した場合を説明する図である。上記で説明した手順と同様な処理を行うと、相関方向検出手段13から出力される相関方向はdir1=1である。なお、方向1における細線境界手段8からの出力されるフラグ信号はthflag(1)=0であるが、斜め境界判定手段9から出力されるフラグ信号はbundflag(1)=1であるので、相関方向決定手段10はdir1と同じ値であるdir2=1を出力する。補間画素P0に左右で隣接する補間画素P−1、P1に対応する相関方向はともに方向1であるので、孤立方向補正手段11はdir2と同じ値であるdir5=1を出力する。dir5=1が入力された相関方向補間手段12は、画素B1の信号B(1)と画素C−1の信号C(−1)とを加算し、その加算値を1/2倍して補間信号P(0)を出力する。
したがって、補間画素P0の画素信号P(0)は、エッジ部における画素対で補間することができ、エッジのボケやガタツキを抑えることができる。
【0124】
なお、本実施の形態1における走査線補間装置は、補間画素P0を中心とした方向−5〜−1、0、及び1〜5の合計11の方向を相関方向の候補として選定しているがこれに限られるものではなく、7方向や13方向を候補としてもよい。
【0125】
また、本実施の形態では相関方向決定手段10において、相関方向検出手段13から出力された相関方向を細線検出手段8の出力結果と比較した後、エッジ検出手段9との出力結果と比較したが、先にエッジ検出手段9の出力結果と比較した後、細線検出手段8の出力結果と比較してもよい。
【0126】
また、孤立方向補正手段11は、補間画素P0の相関方向を補間画素P0に左右で隣接する画素P−1、及び画素P1における相関方向とから判断しているが、比較する画素の範囲は隣接する画素に限らず、画素P−2、画素P2や、画素P−3、画素P3を考慮して補間画素P0の相関方向を決定してもよい。
【0127】
さらに、本実施の形態1で説明した走査線補間装置を図23における動画用補間手段202として用いてもよい。
【0128】
さらに、本実施の形態1では、走査線補間装置をハードウェアで構成するよう説明しているが、ソフトウェアの処理により実現できることは言うまでもない。
【0129】
【発明の効果】
本発明に係る走査線補間装置によれば、補間走査線上の補間画素の位置を中心として、補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、第1の画素対における画素と走査線直交方向に隣接する画素を、第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、第1の画素対における画素間の信号の差分と、第2の画素対における画素間の信号の差分とに基づいて補間方向の候補を出力する相関方向検出手段と、第1の画素対における画素と、第1の画素対における画素と走査線直交方向に隣接する第2の画素対における画素とを第3の画素対として選択し、第3の画素対における画素の信号の差分に基づいて細線を検出し、検出結果を出力する細線検出手段と、第2の画素対における画素を走査線直交方向に第4の画素対として選択し、第2の画素対における画素間の信号と、第4の画素対における画素間の信号と、補間画素と走査線直交方向に隣接する画素間の信号の差分とに基づいてエッジを検出し、検出結果を出力するエッジ検出手段と、相関検出手段からの出力と、細線検出手段からの出力と、エッジ検出手段からの出力とに基づいて補間方向を決定する相関方向決定手段とを備え、補間方向に基づき補間画素の信号を決定し、補間走査線を生成することとしたので、細線に対しても境界線の切断やボケ、ガタツキが生じることなく、良好な走査線補間を行うことができる。
【図面の簡単な説明】
【図1】実施の形態1における走査線補間装置の構成を示すブロック図である。
【図2】実施の形態1における映像信号の画素を模式的に示した図である。
【図3】実施の形態1における走査線補間装置の動作を説明する図である。
【図4】実施の形態1における走査線補間装置の動作を説明する図である。
【図5】実施の形態1における差分絶対値算出手段の構成例を示すブロック図である。
【図6】実施の形態1における差分絶対値算出手段の構成例を示すブロック図である。
【図7】実施の形態1における差分絶対値算出手段の構成例を示すブロック図である。
【図8】実施の形態1における相関値算出手段の構成例を示すブロック図である。
【図9】実施の形態1における平均値算出手段の構成例を示すブロック図である。
【図10】実施の形態1における最小相関値方向選択手段の構成例を示すブロック図である。
【図11】実施の形態1における細線検出手段の構成例を示すブロック図である。
【図12】実施の形態1における細線検出手段の構成例を示すブロック図である。
【図13】実施の形態1におけるエッジ検出手段の動作を説明する図である。
【図14】実施の形態1におけるエッジ検出手段の動作を説明する図である。
【図15】実施の形態1におけるエッジ検出手段の構成例を示すブロック図である。
【図16】実施の形態1におけるエッジ検出手段の構成例を示すブロック図である。
【図17】実施の形態1における相関方向決定手段の動作を示すフローチャートである。
【図18】実施の形態1における相関方向決定手段の構成例を示すブロック図である。
【図19】実施の形態1における孤立方向補正手段の構成例を示すブロック図である。
【図20】実施の形態1における相関方向補間手段の構成例を示すブロック図である。
【図21】実施の形態1における走査線補間装置の動作を説明する図である。
【図22】実施の形態1における走査線補間装置の動作を説明する図である。
【図23】従来の走査線補間装置の構成を示すブロック図である。
【図24】従来の走査線補間装置の構成を示すブロック図である。
【図25】従来の走査線補間装置の構成を示すブロック図である。
【図26】従来の走査線補間装置の動作を説明する図である。
【図27】従来の走査線補間装置の動作を説明する図である。
【符号の説明】
1 第1の1H遅延手段、2 第2の1H遅延手段、3 第3の1H遅延手段、4 差分絶対値算出手段、5 相関値算出手段、6 平均値算出手段、7 最小相関値方向選択手段、8 細線検出手段、9 エッジ検出手段、10 相関方向決定手段、11 孤立方向補正手段、12 相関方向補間手段、13 相関方向検出手段、21 1D遅延手段、22 1D遅延手段、23 1D遅延手段、24 1D遅延手段、31 、差分算出手段、32 差分算出手段、33 差分算出手段、51 加算手段、61 平均値算出手段、71 最小相関値方向検出手段、72 最小平均値選択手段、73 相関方向選択手段、81 差分算出手段、82 差分算出手段、83 差分算出手段、84 比較手段、91 差分算出手段、92 差分算出手段、93 差分算出手段、94 差分算出手段、95差分算出手段、96 絶対値算出手段、97 絶対値算出手段、101 最大値検出手段、102 最小値検出手段、103 符号一致判定手段、104 差分絶対値算出手段、105 比較手段、106 比較手段、107 比較手段、108 判定手段、121 選択手段、122 切換手段、123 切換手段、130 1D遅延手段、131 差分絶対値算出手段、132 差分絶対値算出手段、133 比較手段、134 比較手段、135 方向切換手段、136 孤立方向判定手段、141 1D遅延手段、142 1D遅延手段、143 画素選択手段、144 画素選択手段、145 加算器、146 増幅器。
Claims (7)
- 映像信号の走査線の間を補間する補間走査線を生成する走査線補間装置であって、
上記補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、当該第1の画素対における画素と走査線直交方向に隣接する画素を、上記第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、上記第1の画素対における画素間の信号の差分と、上記第2の画素対における画素間の信号の差分とに基づいて補間方向の候補を出力する相関方向検出手段と、
上記第1の画素対における画素と、当該第1の画素対における画素と走査線直交方向に隣接する上記第2の画素対における画素とを第3の画素対として選択し、当該第3の画素対における画素の信号の差分に基づいて細線を検出し、検出結果を出力する細線検出手段と、
上記第2の画素対における画素を走査線直交方向に第4の画素対として選択し、上記第2の画素対における画素間の信号と、当該第4の画素対における画素間の信号と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分とに基づいてエッジを検出し、検出結果を出力するエッジ検出手段と、
上記相関検出手段からの出力と、上記細線検出手段からの出力と、上記エッジ検出手段からの出力とに基づいて補間方向を決定する相関方向決定手段とを備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することを特徴とする走査線補間装置。 - 相関方向決定手段から出力された補間画素における補間方向を、補間走査線上にある他の画素の補間方向と比較し、上記補間画素における補間方向を補正する孤立方向補正手段を備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することを特徴とする請求項1に記載の走査線補間装置。 - 相関方向検出手段は、
補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、当該第1の画素対における画素と走査線直交方向に隣接する画素を、上記第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、
上記第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、
上記第1の画素対における画素間の信号の第1の差分絶対値と、上記第2の画素対における画素間の信号の第2の差分絶対値とを算出する差分絶対値算出手段と、
同一方向における上記第1の差分絶対値と上記第2の差分絶対値とを加算した相関値を算出する相関値算出手段と、
隣接する方向における上記相関値の平均値を算出する平均値算出手段と、
当該相関値の平均値が最小となる領域を選択し、当該領域から上記相関値が最小となる方向を選択し、当該方向を補間方向の候補として出力する相関方向選択手段とを
備えたことを特徴とする請求項1から請求項2のいずれか1項に記載の走査線補間装置。 - 細線検出手段は、
補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、当該第1の画素対における画素と、当該第1の画素対における画素と走査線直交方向に隣接する画素とを第3の画素対として選択し、当該第3の画素対における画素間の信号の差分を算出する差分算出手段と、
当該差分を所定値と比較する比較手段と、
上記差分の符号を判定する符号判定手段とを
備えたことを特徴とする請求項1から請求項3のいずれか1項に記載の走査線補間装置。 - エッジ検出手段は、
補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、当該第1の画素対における画素と走査線直交方向に隣接する画素を、上記第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、当該第2の画素対における画素間の信号の差分絶対値を算出する差分絶対値算出手段と、
当該第2の画素対における画素を走査線直交方向に第4の画素対として選択し、当該第4の画素対における画素間の信号の差分と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分とから最大値を検出する最大値検出手段と、最小値を検出する最小値検出手段と、符号を判定する符号判定手段と、
上記最大値と最小値との差分絶対値を算出する差分絶対値算出手段と、
当該差分絶対値を所定値と比較する第1の比較手段と、
上記最小値を所定値と比較する第2の比較手段と、
上記第2の画素対における画素間の差分絶対値を所定値と比較する第3の比較手段とを
備えることを特徴とする請求項1から請求項4のいずれか1項に記載の走査線補間装置。 - 請求項1から5のいずれか1項に記載の走査線走査補間装置を備えることを特徴とする画像表示装置。
- 映像信号の走査線の間を補間する補間走査線を生成する走査線補間方法であって、
上記補間走査線上の補間画素の位置を中心として、上記補間走査線に隣接する走査線上の点対称の位置にある画素を第1の画素対として2組以上選択し、当該第1の画素対における画素と走査線直交方向に隣接する画素を、上記第1の画素対における画素間を結ぶ直線と同一の方向に第2の画素対として選択し、上記第1の画素対における画素間の信号の差分と、上記第2の画素対における画素間の信号の差分とに基づいて補間方向の候補を出力する第1のステップと、
上記第1の画素対における画素と、当該第1の画素対における画素と走査線直交方向に隣接する上記第2の画素対における画素とを第3の画素対として選択し、当該第3の画素対における画素の信号の差分に基づいて細線を検出し、検出結果を出力する第2のステップと、
上記第2の画素対における画素を走査線直交方向に第4の画素対として選択し、上記第2の画素対における画素間の信号と、当該第4の画素対における画素間の信号と、上記補間画素と走査線直交方向に隣接する画素間の信号の差分とに基づいてエッジを検出し、検出結果を出力する第3のステップと、
上記第1のステップからの出力と、上記第2のステップからの出力と、上記第3のステップからの出力とに基づいて補間方向を決定する第4のステップとを備え、
当該補間方向に基づき上記補間画素の信号を決定し、上記補間走査線を生成することを特徴とする走査線補間方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356691A JP4175878B2 (ja) | 2002-12-09 | 2002-12-09 | 走査線補間装置および画像表示装置並びに走査線補間方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356691A JP4175878B2 (ja) | 2002-12-09 | 2002-12-09 | 走査線補間装置および画像表示装置並びに走査線補間方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004193747A true JP2004193747A (ja) | 2004-07-08 |
JP2004193747A5 JP2004193747A5 (ja) | 2005-03-17 |
JP4175878B2 JP4175878B2 (ja) | 2008-11-05 |
Family
ID=32756960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002356691A Expired - Fee Related JP4175878B2 (ja) | 2002-12-09 | 2002-12-09 | 走査線補間装置および画像表示装置並びに走査線補間方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4175878B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007060512A (ja) * | 2005-08-26 | 2007-03-08 | Pioneer Electronic Corp | 走査線補間回路、該走査線補間回路に用いられる走査線補間方法、及び画像表示装置 |
JP2007110217A (ja) * | 2005-10-11 | 2007-04-26 | Canon Inc | Ip変換処理装置、その制御方法 |
JP2007184934A (ja) * | 2005-12-30 | 2007-07-19 | Micronas Gmbh | 中間ラインの画像情報値を補間する方法と装置 |
WO2008059704A1 (fr) * | 2006-11-14 | 2008-05-22 | Panasonic Corporation | Dispositif d'interpolation de ligne de balayage et procédé d'interpolation de ligne de balayage |
JP2010515381A (ja) * | 2006-12-27 | 2010-05-06 | インテル・コーポレーション | 角度方向付けされた空間デインタレーサ用の方法および装置 |
JP2010522485A (ja) * | 2007-03-19 | 2010-07-01 | 株式会社ソニー・コンピュータエンタテインメント | ビデオをアップスケールするための方法および装置 |
US9536461B2 (en) | 2014-07-01 | 2017-01-03 | Sony Interactive Entertainment Inc. | Method and system for use in uprendering multimedia content |
-
2002
- 2002-12-09 JP JP2002356691A patent/JP4175878B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007060512A (ja) * | 2005-08-26 | 2007-03-08 | Pioneer Electronic Corp | 走査線補間回路、該走査線補間回路に用いられる走査線補間方法、及び画像表示装置 |
JP2007110217A (ja) * | 2005-10-11 | 2007-04-26 | Canon Inc | Ip変換処理装置、その制御方法 |
JP2007184934A (ja) * | 2005-12-30 | 2007-07-19 | Micronas Gmbh | 中間ラインの画像情報値を補間する方法と装置 |
WO2008059704A1 (fr) * | 2006-11-14 | 2008-05-22 | Panasonic Corporation | Dispositif d'interpolation de ligne de balayage et procédé d'interpolation de ligne de balayage |
JP2008124909A (ja) * | 2006-11-14 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 走査線補間装置および走査線補間方法 |
US8237858B2 (en) | 2006-11-14 | 2012-08-07 | Panasonic Corporation | Scanning line interpolating device and scanning line interpolation method |
JP2010515381A (ja) * | 2006-12-27 | 2010-05-06 | インテル・コーポレーション | 角度方向付けされた空間デインタレーサ用の方法および装置 |
JP2010522485A (ja) * | 2007-03-19 | 2010-07-01 | 株式会社ソニー・コンピュータエンタテインメント | ビデオをアップスケールするための方法および装置 |
US8717502B2 (en) | 2007-03-19 | 2014-05-06 | Sony Computer Entertainment Inc. | Methods and apparatuses for upscaling video |
US9215403B2 (en) | 2007-03-19 | 2015-12-15 | Sony Computer Entertainment Inc. | Methods and apparatuses for upscaling video |
US9536461B2 (en) | 2014-07-01 | 2017-01-03 | Sony Interactive Entertainment Inc. | Method and system for use in uprendering multimedia content |
Also Published As
Publication number | Publication date |
---|---|
JP4175878B2 (ja) | 2008-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100561477B1 (ko) | 경계 방향에 기초한 영상 보간 방법 | |
US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
US6795123B2 (en) | Interpolation apparatus, and video signal processing apparatus including the same | |
EP2723066B1 (en) | Spatio-temporal adaptive video de-interlacing | |
EP1313310A2 (en) | Method of low latency interlace to progressive video format conversion | |
JP4973542B2 (ja) | 画素補間装置及び画素補間方法 | |
KR20000046212A (ko) | 디지탈 영상 데이터의 디인터레이싱 장치 | |
EP2175641B1 (en) | Apparatus and method for low angle interpolation | |
JP3789442B2 (ja) | 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法 | |
JP3591859B2 (ja) | ディジタル映像データの補間方法及び回路 | |
US20040208384A1 (en) | Method for motion pixel detection with adaptive thresholds | |
EP2103114B1 (en) | Adaptive video de-interlacing | |
JP4175878B2 (ja) | 走査線補間装置および画像表示装置並びに走査線補間方法 | |
US20060039631A1 (en) | Intra-field interpolation method and apparatus | |
JPH08163573A (ja) | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 | |
KR100400018B1 (ko) | 톱니파 제거 장치 및 방법 | |
JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
EP2071512B1 (en) | Method for generating distances representative of the edge orientations in a video picture, corresponding device and use of the method for deinterlacing or format conversion | |
JP2658625B2 (ja) | 補間信号生成回路 | |
JP4849515B2 (ja) | Ip変換処理装置、その制御方法 | |
US8228429B2 (en) | Reducing artifacts as a result of video de-interlacing | |
US7405767B2 (en) | Video image conversion method for interlaced image to progressive image and system thereof | |
JP3463640B2 (ja) | ディジタルノイズリダクション回路 | |
KR100252943B1 (ko) | 스캔컨버터회로 | |
JP2002112203A (ja) | 補間信号生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060704 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |