JPH0951430A - Image data interpolation arithmetic method and device therefor - Google Patents

Abstract

PROBLEM TO BE SOLVED: To realize an interpolation image in response to a local characteristic of an original image in the interpolation arithmetic method and device for image data subject to vicinity interpolation. SOLUTION: Weighting coefficients w1-w5 used for multiplication in the linear combination among interpolation coefficients of B spline interpolation, vertically linear-horizontal replication interpolation, horizontally linear-vertical replication interpolation, right oblique interpolation and left oblique interpolation are obtained by a neutral network 2. An interpolation coefficient arithmetic means 4 multiplies the weighting coefficients w1-w5 with the interpolation coefficients stored in an interpolation coefficient storage means 3 to obtain final interpolation coefficients. An interpolation arithmetic means 5 conducts interpolation arithmetic operation based on the final interpolation coefficients to obtain interpolation image data S'. The interpolation image data S' are reproduced as a visual image by an image reproduction means 22.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は画像データの補間演
算方法および装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image data interpolation calculation method and apparatus.

【０００２】[0002]

【従来の技術】従来より、放射線写真フイルムに記録さ
れた放射線画像を光電的に読み取って画像信号を得、こ
の画像信号に適切な画像処理を施した後、画像を再生記
録することが種々の分野で行われている。たとえば、後
の画像処理に適合するように設計されたガンマ値の低い
Ｘ線フィルムを用いてＸ線画像を記録し、このＸ線画像
が記録されたフィルムからＸ線画像を読み取って電気信
号に変換し、この電気信号（画像信号）に画像処理を施
した後、コピー写真等に可視像として再生することによ
り、コントラスト、シャープネス、粒状性等の画質性能
の良好な再生画像を得ることが行われている（特公昭61
-5193 号参照）。2. Description of the Related Art Conventionally, various methods have been known in which a radiographic image recorded on a radiographic film is photoelectrically read to obtain an image signal, the image signal is subjected to appropriate image processing, and then the image is reproduced and recorded. In the field. For example, an X-ray image is recorded using an X-ray film having a low gamma value designed so as to be suitable for later image processing, and the X-ray image is read from the film on which the X-ray image is recorded and converted into an electric signal. After conversion and image processing of this electric signal (image signal), it is reproduced as a visible image on a copy photograph or the like to obtain a reproduced image with good image quality performance such as contrast, sharpness, and graininess. It is held (Sho 61
-5193).

【０００３】また本願出願人により、放射線（Ｘ線，α
線，β線，γ線，電子線，紫外線等）を照射すると、こ
の放射線エネルギーの一部が蓄積され、その後可視光等
の励起光を照射すると蓄積されたエネルギーに応じて輝
尽発光を示す蓄積性蛍光体（輝尽性蛍光体）を利用し
て、人体等の被写体の放射線画像情報を一旦シート状の
蓄積性蛍光体に記録し、この蓄積性蛍光体シートをレー
ザー光等の励起光で走査して輝尽発光光を生ぜしめ、得
られた輝尽発光光を光電的に読み取って画像信号を得、
この画像データに基づき被写体の放射線画像を写真感光
材料等の記録材料、ＣＲＴ等に可視像として出力させる
放射線画像記録再生システムがすでに提案されている
（特開昭55-12429号，同56-11395号，同55-163472 号，
同56-104645号，同55-116340 号等）。このシステム
は、従来の銀塩写真を用いる放射線写真システムと比較
して極めて広い放射線露出域にわたって画像を記録し得
るという実用的な利点を有している。In addition, the applicant of the present invention has conducted radiation (X-ray,
Ray, β ray, γ ray, electron beam, ultraviolet ray, etc.), a part of this radiation energy is accumulated, and when excitation light such as visible light is then irradiated, stimulated emission is shown according to the accumulated energy. By using a stimulable phosphor (stimulable phosphor), the radiation image information of a subject such as a human body is once recorded on a sheet-shaped stimulable phosphor, and this stimulable phosphor sheet is excited by a laser beam or the like. Scan to generate stimulated emission light, photoelectrically read the obtained stimulated emission light to obtain an image signal,
A radiation image recording / reproducing system for outputting a radiation image of a subject as a visible image on a recording material such as a photographic light-sensitive material or a CRT based on this image data has already been proposed (JP-A-55-12429, JP-A-56-56). No. 11395, No. 55-163472,
56-104645, 55-116340, etc.). This system has the practical advantage of being able to record images over a very large radiation exposure area compared to conventional radiographic systems using silver halide photography.

【０００４】上記のように画像信号を得てこの画像信号
に基づいて可視画像を再生するシステムにおいて、その
可視画像のうち観察対象となる関心領域をより詳細に観
察したいとき、その領域を拡大して再生することがあ
る。この拡大画像は、原画像を読み取って得られた原画
像データに対して所定の補間演算を施して原画像データ
数とは異なるデータ数の２次的な画像データである補間
画像データを求め、この補間画像データに基づいた可視
画像の再生を行うことによって得ることができる。In the system for obtaining an image signal and reproducing a visible image based on the image signal as described above, when it is desired to observe the region of interest to be observed in the visible image in more detail, the region is enlarged. May be replayed. The enlarged image is subjected to a predetermined interpolation calculation on the original image data obtained by reading the original image to obtain interpolated image data which is secondary image data having a data number different from the original image data number, It can be obtained by reproducing a visible image based on this interpolation image data.

【０００５】ところで、画像入出力装置の構成のし易さ
の観点から一般的に用いられている、各画像データを担
持する画素が所定の間隔で縦横方向に正方形格子状に配
列されて画像を形成するようにしたものにおいては、上
記画像の拡大処理における補間演算は、その補間画像デ
ータを、補間して新たに設定しようとする画素（補間画
素）の近傍４点の原画素における原画像データを線形補
間することによって行っている。By the way, generally used pixels from the viewpoint of ease of construction of an image input / output device, pixels carrying each image data are arranged at predetermined intervals in a square lattice in the vertical and horizontal directions to form an image. In the image formation processing, the interpolation operation in the image enlargement processing is performed by interpolating the interpolated image data, and original image data at four original pixels in the vicinity of the pixel (interpolation pixel) to be newly set. Is performed by linearly interpolating.

【０００６】例えば、図９（Ａ）に示すように、正方形
格子状に配列された原画像の原画素Ｐ（○記号が記され
た点）について、その原画素Ｐが配列された間隔とは異
なる間隔で配列される補間画素Ｐ′₀ （×記号が記され
た点）の補間画像データを求めようとするときは、例え
ば補間画素Ｐ′₀ の補間画像データについて補間画素
Ｐ′₀ を囲む近傍４点の原画像の原画素Ｐ_A 、Ｐ_B 、Ｐ
_C 、Ｐ_D の画像データＳ_A 、Ｓ_B 、Ｓ_C 、Ｓ_D を用いて
以下の手順によって求める。For example, as shown in FIG. 9 (A), with respect to the original pixels P (points marked with a circle) of the original images arranged in a square lattice, the interval at which the original pixels P are arranged is interpolated pixel P 'when to be obtained interpolated image data of ₀ (point × symbol marked), for example the interpolation pixel P' are arranged at different intervals surrounding the interpolation pixel P _'0 for the interpolation image data of the ₀ Original pixels P _A , P _B , and P of the original image of four nearby points
The image data S _A , S _B , S _C and S _D of _C and P _D are obtained by the following procedure.

【０００７】ここで原画素Ｐ_A 〜Ｐ_B 間、Ｐ_C 〜Ｐ
_D 間、Ｐ_A 〜Ｐ_C 間、Ｐ_B 〜Ｐ_D 間のピッチをそれぞれ
１とし、補間画素Ｐ′₀ の、原画素Ｐ_A （Ｐ_C ）からの
ｘ軸方向（横方向）の距離がＴｘ（図９（Ｂ）参照）、
原画素Ｐ_A （Ｐ_B ）からのｙ軸方向（縦方向）の距離が
Ｔｙである場合、まず補間画素Ｐ′₀ のｘ軸方向の位置
に対応する補間画素Ｐ′ｍ、Ｐ′ｎの補間画像データ
Ｓ′ｍ、Ｓ′ｎを、下記の式に基づく線形補間の演算に
より求める。Here, between the original pixels P _{A and} P _{B, and} between P _{C and} P
The pitches between _D, between P _{A and} P _{C, and} between P _{B and} P _D are 1, respectively, and the distance of the interpolated pixel P ′ ₀ from the original pixel P _A (P _C ) in the x-axis direction (horizontal direction) is Tx (see FIG. 9B),
When the distance in the y-axis direction (vertical direction) from the original pixel P _A (P _B ) is Ty, first of all the interpolation pixels P′m and P′n corresponding to the position of the interpolation pixel P ′ _{0 in} the x-axis direction. The interpolated image data S′m and S′n are obtained by a linear interpolation operation based on the following equation.

【０００８】Ｓ′ｍ＝（１−Ｔｘ）Ｓ_A ＋ＴｘＳ_B Ｓ′ｎ＝（１−Ｔｘ）Ｓ_C ＋ＴｘＳ_D 次いで、補間画素Ｐ′₀ のｙ軸方向について補間画像デ
ータＳ′ｍ、Ｓ′ｎを用いた下記の式に基づく線形補間
の演算を行って、補間画像データＳ′₀ を求める。[0008] S'm = (1-Tx) S A + TxS B S'n = (1-Tx) S C + TxS D Then, the interpolation pixel P 'in the y-axis direction of ₀ interpolated image data S'm, S' Interpolation image data S ′ ₀ is obtained by performing a linear interpolation calculation based on the following equation using n.

【０００９】Ｓ′₀ ＝（１−Ｔｙ）Ｓ′ｍ＋ＴｙＳ′ｎ 以上の演算を他の補間画素Ｐ′₀ についても同様に適用
して、各補間画像データＳ′を求めることができる。S ′ ₀ = (1−Ty) S′m + TyS′n The above calculation can be similarly applied to other interpolation pixels P ′ ₀ to obtain each interpolated image data S ′.

【００１０】また、画像データの補間方法としては、上
述した線形補間による方法の他、２次あるいは３次のス
プライン補間関数を用いる方法など種々の方法が提案さ
れている。例えば、３次のスプライン補間関数を用いる
Cubic スプライン補間演算は、元のサンプリング点（画
素）を通ることと、その第１階微分係数が各区間間で連
続することが必要とされており、この条件に基づいて補
間画素近傍４点の原画像の画素値に乗じる補間係数を算
出し、この補間係数を補間画素近傍４点の原画像の画素
値に乗じて補間画像データを得る方法である。このCubi
c スプライン補間演算は、比較的鮮鋭度の高いシャープ
な２次画像（補間により得られる画像）を再生するため
のものである。また、Cubic スプライン補間演算に対し
て比較的鮮鋭度の低い滑らかな２次画像を再生するため
の補間画像データを得るＢスプライン補間演算も知られ
ている。このように２次画像を高い鮮鋭度でシャープに
再生したい場合は、Cubic スプライン補間演算を用い、
低い鮮鋭度で滑らかに再生したい場合はＢスプライン補
間演算を用いればよい。As the image data interpolation method, various methods such as a method using the above-described linear interpolation and a method using a quadratic or cubic spline interpolation function have been proposed. For example, using a cubic spline interpolation function
The Cubic spline interpolation calculation requires passing through the original sampling points (pixels) and that the first differential coefficient is continuous between each section. This is a method of calculating an interpolation coefficient by multiplying the pixel value of the original image, and multiplying the interpolation coefficient by the pixel value of the original image at four points near the interpolation pixel to obtain the interpolated image data. This Cubi
The c-spline interpolation calculation is for reproducing a sharp secondary image (image obtained by interpolation) having relatively high sharpness. Also known is a B-spline interpolation calculation for obtaining interpolation image data for reproducing a smooth secondary image having a relatively low sharpness with respect to the Cubic spline interpolation calculation. If you want to reproduce the secondary image sharply with high sharpness like this, use Cubic spline interpolation
When it is desired to reproduce smoothly with low sharpness, the B-spline interpolation calculation may be used.

【００１１】また、他の補間方法として最近傍補間（リ
プリケーション）なる方法が提案されている。この最近
傍補間なる方法は、補間画素における補間データとして
この補間画素に最も近い位置にある原画素の画像データ
の値をそのまま用いるものである。すなわち、図10に示
すように黒丸で表す原画素Ｐ_A 〜Ｐ_D を囲む四角形Ｋ_A
〜Ｋ_D のうち、四角形Ｋ_A 内に補間画素Ｐ′₀ が存在す
る場合は、その補間画素Ｐ′₀ における補間画像データ
として原画素Ｐ_A における原画像データの値をそのまま
用いるものである。この最近傍補間に基づいて画像デー
タの補間を行うことにより、非常に鮮鋭度が高く、また
画像にオーバーシュートやアンダーシュートが発生する
ことが無くなるため、非常に良好な補間画像を得ること
ができる。Further, a method called nearest neighbor interpolation (replication) has been proposed as another interpolation method. This nearest neighbor interpolation method uses the value of the image data of the original pixel closest to the interpolation pixel as the interpolation data for the interpolation pixel as it is. That is, as shown in FIG. 10, a square K _A surrounding the original pixels P _{A to} P _D represented by black circles.
Of ~K _D, square K _A interpolation pixel P in _{'If 0} is present, the interpolation pixel P' values of the original image data in the original pixel P _A as the interpolated image data in the ₀ is to use it. By interpolating the image data based on this nearest neighbor interpolation, the sharpness is extremely high, and since overshoot and undershoot do not occur in the image, a very good interpolated image can be obtained. .

【００１２】[0012]

【発明が解決しようとする課題】しかしながら、上述し
た種々の補間方法によって、得られる補間画像の鮮鋭度
が異なるため、鮮鋭度の大きい画像が得られる最近傍補
間により補間画像を得ると、画像の濃度変化がほとんど
ない平坦部において鮮鋭度が強調されることによりノイ
ズが目立ってしまうことがある。また逆に得られる補間
画像の鮮鋭度がそれほど高くないＢスプライン補間演算
により補間画像を得ると、平坦部においては滑らかな画
像が得られるが、エッジ部においては画像がぼけてしま
い、かえって見にくい画像となってしまう。さらに、画
像中に画素が並んでいる方向に対して斜めに延びるエッ
ジ部が存在する場合、補間方法によっては補間画像にお
いてエッジ部に段状の模様が現れてしまうこともあり、
得られる補間画像が原画像と比べて不自然なものとなっ
ていた。このような場合、画像の部位に応じて適切な補
間方法を選択して補間演算を行うことが考えられるが、
画像中にはエッジ部や平坦部など様々な特徴部分が含ま
れ、また補間演算についても上述したように複数の方法
があることから、画像の特徴部分の条件を判断して適切
な補間演算を論理的に選択するよう構成することは演算
量が膨大なものとなり、極めて困難なものであった。However, since the sharpness of the obtained interpolated image differs depending on the above-mentioned various interpolation methods, when the interpolated image is obtained by the nearest neighbor interpolation which can obtain an image with a high sharpness, Noise may become conspicuous due to the sharpness being emphasized in the flat portion where the density hardly changes. Conversely, if an interpolation image is obtained by a B-spline interpolation calculation in which the sharpness of the obtained interpolation image is not so high, a smooth image is obtained at the flat portion, but the image is blurred at the edge portion, which is rather difficult to see. Will be. Furthermore, if there is an edge portion that extends obliquely to the direction in which the pixels are arranged in the image, a stepped pattern may appear in the edge portion in the interpolation image depending on the interpolation method,
The obtained interpolated image was more unnatural than the original image. In such a case, it is conceivable to select an appropriate interpolation method according to the part of the image and perform the interpolation calculation.
Various characteristic parts such as edges and flat parts are included in the image, and there are multiple methods for interpolation calculation as described above. Therefore, the conditions of the characteristic parts of the image are judged and appropriate interpolation calculation is performed. It is extremely difficult to configure the selection logically because the amount of calculation becomes huge.

【００１３】本発明は上記事情に鑑み、画像中の特徴部
分に応じて原画像と同様の自然な補間画像を簡易に得る
ことができる画像データの補間演算方法および装置を提
供することを目的とするものである。In view of the above circumstances, it is an object of the present invention to provide an image data interpolation calculation method and apparatus which can easily obtain a natural interpolated image similar to the original image according to the characteristic portion in the image. To do.

【００１４】[0014]

【課題を解決するための手段】本発明による画像データ
補間演算方法および装置は、画像を表す原画素のそれぞ
れについての画素値を表す多数の原画像データについ
て、鮮鋭度を強調する、画像を滑らかにする、あるいは
斜めエッジを直線状に表すことができるなどの得られる
補間画像の特性が互いに異なる前記各原画像データに対
応する複数種類の補間演算により得られる複数の補間係
数を求め、該各補間係数を所定の重み付け係数により重
み付け線形結合することにより新たな補間係数を得、該
新たな補間係数に基づいて補間演算を行って、前記原画
素とは間隔が異なる補間画像における補間画像データを
求める画像データの補間演算方法であって、前記画像中
の小領域で囲まれる画像の一部を表す局所的なパターン
を入力とし、該局所的なパターンに応じた前記重み付け
係数を出力とするニューラルネットワークに、前記画像
の局所的なパターンを入力して前記重み付け係数を得、
該重み付け係数に基づいて前記新たな補間係数を得るこ
とを特徴とするものである。SUMMARY OF THE INVENTION An image data interpolation calculation method and apparatus according to the present invention enhances sharpness of a plurality of original image data representing pixel values of respective original pixels representing an image, and smooths an image. Or obtain a plurality of interpolation coefficients obtained by a plurality of types of interpolation operations corresponding to the respective original image data having different characteristics of the obtained interpolated image such that diagonal edges can be expressed in a straight line. A new interpolation coefficient is obtained by weighting and linearly combining the interpolation coefficient with a predetermined weighting coefficient, an interpolation operation is performed based on the new interpolation coefficient, and the interpolated image data in the interpolated image having a different interval from the original pixel is obtained. An interpolation calculation method of image data to be obtained, comprising inputting a local pattern representing a part of an image surrounded by a small area in the image, The neural network to output the weighting coefficient corresponding to a pattern, to obtain the weighting factor to input local pattern of said image,
The new interpolation coefficient is obtained based on the weighting coefficient.

【００１５】ここで、画像の局所的なパターンとは、画
像中の小領域で囲まれる画像の一部分を表すパターンの
ことをいう。Here, the local pattern of the image means a pattern representing a part of the image surrounded by a small area in the image.

【００１６】[0016]

【発明の効果】本発明による画像データの補間演算方法
および装置は、得られる補間画像の特性が異なる複数の
補間係数を用いて、ニューラルネットワークに画像の局
所的なパターンを入力することにより、この局所的なパ
ターンに適した補間係数については重み付け係数が他の
補間係数の重み付け係数よりも大きくなるように学習を
させておくようにしたものである。そして、原画像の全
体について原画像の局所的なパターンをこのニューラル
ネットワークに入力することにより、画像の局所的な部
分の特徴に応じた重み付け係数が局所的なパターンごと
に出力されることとなる。したがって、この重み付け係
数により複数の補間係数に対する重み付け線形結合演算
を行うことにより、画像中の局所的なパターンに適した
補間係数については大きな重み付けがなされて、新たな
補間係数が決定されることとなる。このため、得られた
新たな補間係数により補間演算を行うことにより得られ
る補間画像は、画像中の局所的なパターンごとに最適な
補間演算により画像が補間されているため、原画像と比
べて不自然さのないものとなる。The method and apparatus for interpolating image data according to the present invention uses a plurality of interpolation coefficients having different characteristics of the obtained interpolated image to input a local pattern of the image to the neural network. With respect to the interpolation coefficient suitable for the local pattern, learning is performed so that the weighting coefficient becomes larger than the weighting coefficients of other interpolation coefficients. Then, by inputting a local pattern of the original image for the entire original image to this neural network, a weighting coefficient corresponding to the feature of the local portion of the image is output for each local pattern. . Therefore, by performing a weighted linear combination operation on a plurality of interpolation coefficients using this weighting coefficient, a large weight is given to the interpolation coefficient suitable for the local pattern in the image, and a new interpolation coefficient is determined. Become. Therefore, the interpolated image obtained by performing the interpolation calculation with the new interpolation coefficient obtained is interpolated by the optimal interpolation calculation for each local pattern in the image, and therefore compared with the original image. It will be natural.

【００１７】また、補間係数を重み付け線形結合する際
の重み付け係数をニューラルネットワークにより学習さ
せて決定するようにしたため、画像のパターンと補間係
数との条件を対応付けするための複雑な論理的演算を行
う必要が無くなり、より簡易な演算により補間係数の重
み付け係数を決定して画像中の局所的なパターンに応じ
た適切な補間画像を得ることができる。Further, since the weighting coefficient when the weighting linear combination of the interpolation coefficients is performed is determined by learning with the neural network, a complicated logical operation for associating the condition of the image pattern with the condition of the interpolation coefficient is performed. Since it is not necessary to perform this, it is possible to determine the weighting coefficient of the interpolation coefficient by a simpler calculation and obtain an appropriate interpolated image according to the local pattern in the image.

【００１８】[0018]

【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。Embodiments of the present invention will be described below with reference to the drawings.

【００１９】図１は本発明の画像データの補間演算方法
を実施するための具体的な補間演算装置１を内包する画
像再生システムを示す概略ブロック図である。図示の画
像再生システムは、画像を表す画像データを記憶した画
像データ記憶装置22と、所定の再生フォーマットに適合
するように画像データ記憶装置22に記憶された画像デー
タ（以下、１次画像データまたは原画像データという）
Ｓorg に対して補間演算を行う補間演算装置１と、補間
演算装置１において補間演算がなされた所望とする拡大
率の画像を再生するＣＲＴやプリンタ等の再生装置23と
を備えた構成である。FIG. 1 is a schematic block diagram showing an image reproduction system including a specific interpolation calculation device 1 for carrying out the image data interpolation calculation method of the present invention. The illustrated image reproduction system includes an image data storage device 22 that stores image data representing an image, and image data stored in the image data storage device 22 so as to conform to a predetermined reproduction format (hereinafter referred to as primary image data or Original image data)
The configuration includes an interpolation calculation device 1 that performs an interpolation calculation on Sorg, and a reproduction device 23 such as a CRT or a printer that reproduces an image of a desired enlargement ratio that has been interpolated by the interpolation calculation device 1.

【００２０】ここで本発明の実施の形態に使用される１
次画像データＳorg は、等間隔の周期でサンプリングさ
れた一方向に配列されたサンプリング点（画素）
Ｘ_k-2 ，Ｘ_k-1 ，Ｘ_k ，Ｘ_k+1 ，Ｘ_k+2 ，…に対応した
デジタル画像データＹ_k-2 ，Ｙ_k-1，Ｙ_k ，Ｙ_k+1 ，Ｙ
_k+2 ，…である。1 used in the embodiment of the present invention.
The next image data Sorg is sampling points (pixels) arrayed in one direction sampled at equal intervals.
Digital image data Y _k-2 , Y _k-1 , Y _k , Y _{k + 1} , Y corresponding to X _k-2 , X _k-1 , X _k , X _{k + 1} , X _{k + 2} , ...
_{k + 2} , ...

【００２１】補間演算装置１は、原画像の局所的な画像
データを入力とし、後述するように補間係数を重み付け
線形結合する際の重み付け係数を出力するようにあらか
じめ学習されたニューラルネットワーク２と、オリジナ
ルのサンプリング点Ｘ_k 〜Ｘ_k+1 間に設けられた補間点
Ｘ_p の補間画像データである第１の２次画像データＹ_p1
を表す複数種類（本実施の形態においては５種類）の補
間方法における各原画像データＹ_k-1 、Ｙ_k 、Ｙ_k+1 、
Ｙ_k+2にそれぞれ対応する補間係数ｂｊ_k-1 、ｂｊ_k 、
ｂｊ_k+1 、ｂｊ_k+2 （ｊ＝１〜５）を記憶した補間係数
記憶手段３と、補間係数記憶手段３に記憶された補間係
数と、ニューラルネットワーク２から出力された重み付
け係数ｗｊ（ｊ＝１〜５）とを次式（１）〜（４）にし
たがって、原画像データＹ_k-1 、Ｙ_k 、Ｙ_k+1 、Ｙ_k+2
に対応するごとに重み付けして加算する補間係数演算手
段４と、 ａ_k-1 ＝Σｗｊ・ｂｊ_k-1 （１） ａ_k ＝Σｗｊ・ｂｊ_k （２） ａ_k+1 ＝Σｗｊ・ｂｊ_k+1 （３） ａ_k+2 ＝Σｗｊ・ｂｊ_k+2 （４） あらかじめ、下記式（５）の３次のスプライン補間関数
演算式を記憶し、補間係数演算手段４により求められた
重み付け係数ｗｊに応じた補間係数ａ_k-1 、ａ_k 、ａ
_k+1 、ａ_k+2 および原画像データＹ_k-1 、Ｙ_k 、
Ｙ_k+1 、Ｙ_k+2 に基づいて、補間点Ｘ_p の補間画像デー
タＹ_p を式（５）にしたがって求める補間演算手段５と
を備えた構成である。The interpolation calculation device 1 receives the local image data of the original image as an input, and a neural network 2 that has been preliminarily learned so as to output a weighting coefficient for weighting linear combination of the interpolation coefficients, as described later, The first secondary image data Y _p1 which is the interpolated image data of the interpolation point X _p provided between the original sampling points X _{k and} X _{k + 1.}
Each of the original image data Y _k−1 , Y _k , Y _{k + 1} in a plurality of types (five types in this embodiment) of
The interpolation coefficients bj _k-1 , bj _k , which correspond to Y _{k + 2} , respectively.
bj _{k + 1} , bj _{k + 2} (j = 1 to 5) are stored in the interpolation coefficient storage unit 3, the interpolation coefficient stored in the interpolation coefficient storage unit 3, and the weighting coefficient wj (output from the neural network 2 j = 1 to 5) and original image data Y _k−1 , Y _k , Y _{k + 1} , Y _{k + 2} according to the following equations (1) to (4).
And interpolation coefficient calculation means 4 for weighting and adding for each, and a _k-1 = Σwj · bj _k-1 (1) _ak = Σwj · bj _k (2) _{ak + 1} = Σwj · bj _{k +1} (3) a _{k + 2} = Σwj · bj _{k + 2} (4) The cubic spline interpolation function calculation formula of the following formula (5) is stored in advance, and the weighting coefficient calculated by the interpolation coefficient calculation means 4 is stored. interpolation coefficients a _k-1 , a _k , a according to wj
_{k + 1} , a _{k + 2} and original image data Y _k-1 , Y _k ,
This is a configuration including an interpolation calculation means 5 for obtaining the interpolated image data Y _p of the interpolation point X _p based on Y _{k + 1} and Y _{k + 2} according to the equation (5).

【００２２】 Ｙ_p ＝ａ_k-1 Ｙ_k-1 ＋ａ_k Ｙ_k ＋ａ_k+1 Ｙ_k+1 ＋ａ_k+2 Ｙ_k+2 （５） なお、補間係数記憶手段３に記憶された補間係数ｂｊ
_k-1 、ｂｊ_k 、ｂｊ_k+1、ｂｊ_k+2 は、あらかじめ以下
のアルゴリズムにより求められたものである。なお、本
実施の形態においては、ｂ１がＢスプライン補間、ｂ２
が画像に対して縦方向線形かつ横方向リプリケーション
（以下縦線形横リプリケーションとする）、ｂ３が画像
に対して横方向線形かつ縦方向リプリケーション（以下
横線形縦リプリケーションとする）、ｂ４が画像に対し
て右上がりに傾く右斜め用補間、そしてｂ５が画像に対
して左上がりに傾く左斜め用補間をそれぞれ表す。Y _p = a _k-1 Y _k-1 + a _k Y _k + a _{k + 1} Y _{k + 1} + a _{k + 2} Y _{k + 2} (5) The interpolation coefficient stored in the interpolation coefficient storage means 3 bj
_k-1 , bj _k , bj _{k + 1} and bj _{k + 2} are obtained in advance by the following algorithm. In the present embodiment, b1 is B spline interpolation and b2 is b2.
Is a vertical linear and horizontal replication (hereinafter referred to as vertical linear horizontal replication) with respect to the image, b3 is a horizontal linear and vertical replication with respect to the image (hereinafter referred to as horizontal linear vertical replication), and b4 is relative to the image. And slanting to the right, and b5 denotes slanting to the left with respect to the image.

【００２３】まずｂ１のＢスプライン補間演算について
説明する。なお、本発明の実施の形態において得られる
原画像データは正方形格子状に配列されているが、ここ
では説明のため１次元状に並べられた原画像データを例
に挙げて説明する。First, the B-spline interpolation calculation of b1 will be described. Note that the original image data obtained in the embodiment of the present invention is arranged in a square lattice shape, but here, for explanation, the original image data arranged in a one-dimensional form will be described as an example.

【００２４】原画像からデジタル的に読み取って得られ
た、連続する画素Ｘ_k-2 ，Ｘ_k-1 ，Ｘ_k ，Ｘ_k+1 ，Ｘ
_k+2 ，…の原画像データを図２に示すようにそれぞれＹ
_k-2 ，Ｙ_k-1 ，Ｙ_k ，Ｙ_k+1 ，Ｙ_k+2 ，…とする。ここ
で、３次のスプライン補間関数は、各区間Ｘ_k-2 〜Ｘ
_k-1 ，Ｘ_k-1 〜Ｘ_k ，Ｘ_k 〜Ｘ_k+1 ，Ｘ_k+1 〜Ｘ_k+2 ご
とにそれぞれ設定され、各区間に対応するスプライン補
間関数をｆ_k-2 ，ｆ_k-1 ，ｆ_k ，ｆ_k+1 ，ｆ_k+2 とす
る。この補間関数はいずれも各区間の位置を変数とする
３次関数である。Successive pixels X _k-2 , X _k-1 , X _k , X _{k + 1} , X obtained by digitally reading the original image
_As shown in FIG. 2, the original image data of _{k + 2} , ...
_{Let k-2} , Y _k-1 , Y _k , Y _{k + 1} , Y _{k + 2} , .... Here, the cubic spline interpolation function is applied to each section X _{k-2 to} X.
_k−1 , X _{k−1 to} X _k , X _{k to} X _{k + 1} , X _{k + 1 to} X _{k + 2} are respectively set, and spline interpolation functions corresponding to the respective sections are f _k−2 , f Let _k-1 , f _k , f _{k + 1} , f _{k + 2} . Each of these interpolation functions is a cubic function having the position of each section as a variable.

【００２５】ここでまず、補間しようとする点（以下、
補間点という）Ｘ_p が区間Ｘ_k 〜Ｘ_k+1 の範囲にある場
合について説明する。なお、区間Ｘ_k 〜Ｘ_k+1 に対応す
るスプライン補間関数ｆ_k は下記の式（６）で表され
る。First, the point to be interpolated (hereinafter,
A case will be described in which X _{p (referred} to as an interpolation point) is in the range of section X _{k to} X _{k + 1} . The spline interpolation function f _k corresponding to the sections X _{k to} X _{k + 1} is expressed by the following equation (6).

【００２６】 ｆ_k （ｘ）＝Ａ_k ｘ³ ＋Ｂ_k ｘ² ＋Ｃ_k ｘ＋Ｄ_k （６） このＢスプライン補間演算は、元のサンプリング点（画
素）を通ることは必要とされない代わりに、第１階微分
係数および第２階微分係数（ｆ″（Ｘ）で表す）が各区
間間で連続することが必要とされる。F _k (x) = A _k x ³ + B _k x ² + C _k x + D _k (6) This B-spline interpolation operation does not require passing through the original sampling points (pixels), instead of the first The second derivative and the second derivative (represented by f ″ (X)) are required to be continuous between each section.

【００２７】すなわち、上記式（６）において、 ｆ_k ′（Ｘ_k ）＝ｆ_k-1 ′（Ｘ_k ） （７） ｆ_k ′（Ｘ_k+1 ）＝ｆ_k+1 ′（Ｘ_k+1 ） （８） ｆ_k ″（Ｘ_k ）＝ｆ_k-1 ″（Ｘ_k ） （９） ｆ_k ″（Ｘ_k+1 ）＝ｆ_k+1 ″（Ｘ_k+1 ） （10） が条件となる。ただし、画素Ｘ_k における第１階微分係
数が、その画素Ｘ_k の前後の画素であるＸ_k-1 とＸ_k+1
とについて、これらの画像データＹ_k-1 、Ｙ_k+1の勾配
（Ｙ_k+1 −Ｙ_k-1 ）／（Ｘ_k+1 −Ｘ_k-1 ）に一致するこ
とが条件であるから、下記式（11）を満たす必要があ
る。That is, in the above equation (6), f _k ′ (X _k ) = f _k−1 ′ (X _k ) (7) f _k ′ (X _{k + 1} ) = f _{k + 1} ′ (X _{k +1} ) (8) f _k ″ (X _k ) = f _k−1 ″ (X _k ) (9) f _k ″ (X _{k + 1} ) = f _{k + 1} ″ (X _{k + 1} ) (10) Is a condition. However, X _k-1 first-order differential coefficient at the picture element X _k is with respect to the picture elements X _k and X _{k + 1}
For and, the condition is that they match the gradient (Y _{k + 1} −Y _k−1 ) / (X _{k + 1} −X _k−1 ) of these image data Y _k−1 , Y _{k + 1.} , It is necessary to satisfy the following formula (11).

【００２８】 ｆ_k ′（Ｘ_k ）＝（Ｙ_k+1 −Ｙ_k-1 ）／（Ｘ_k+1 −Ｘ_k-1 ） （11） 同様に、画素Ｘ_k+1 における第１階微分係数が、その画
素Ｘ_k+1 の前後の画素であるＸ_k とＸ_k+2 とについて、
これらの画像データＹ_k 、Ｙ_k+2 の勾配（Ｙ_k+2 −
Ｙ_k ）／（Ｘ_k+2 −Ｘ_k ）に一致することが条件である
から、下記式（12）を満たす必要がある。F _k ′ (X _k ) = (Y _{k + 1} −Y _k−1 ) / (X _{k + 1} −X _k−1 ) (11) Similarly, the first derivative of the pixel X _{k + 1} . For coefficients X _k and X _{k + 2} that are the pixels before and after the pixel X _{k + 1} ,
Gradient (Y _{k + 2} − of these image data Y _k , Y _{k + 2}
The condition is that _Yk ) / (X _{k + 2-} X _k ), and therefore it is necessary to satisfy the following expression (12).

【００２９】 ｆ_k ′（Ｘ_k+1 ）＝（Ｙ_k+2 −Ｙ_k ）／（Ｘ_k+2 −Ｘ_k ） （12） また関数ｆ（Ｘ）は一般に下記式（13）に示すもので近
似される。F _k ′ (X _{k + 1} ) = (Y _{k + 2} −Y _k ) / (X _{k + 2} −X _k ) (12) The function f (X) is generally expressed by the following equation (13). It is approximated by things.

【００３０】 ｆ（Ｘ）＝ｆ(0) ＋ｆ′(0) Ｘ＋｛ｆ″(0)/２｝Ｘ² （13） ここで、各区間Ｘ_k-2 〜Ｘ_k-1 ，Ｘ_k-1 〜Ｘ_k ，Ｘ_k 〜
Ｘ_k+1 ，Ｘ_k+1 〜Ｘ_k+2 の間隔（格子間隔という）を１
とし、画素Ｘ_k からの画素Ｘ_k+1 方向への補間点Ｘ_p の
位置をｔ（０≦ｔ≦１）とすれば、式（７）、（８）、
（９）〜（13）より、 ｆ_k ′（０）＝Ｃ_k ＝（Ｙ_k+1 −Ｙ_k-1 ）／２ ｆ_k ′（１）＝３Ａ_k ＋２Ｂ_k ＋Ｃ_k ＝（Ｙ_k+2 −
Ｙ_k ）／２ ｆ_k ″（０）＝Ｙ_k+1 −２Ｙ_k ＋Ｙ_k-1 ＝２Ｂ したがって、 Ａ_k ＝（Ｙ_k+2 −３Ｙ_k+1 ＋３Ｙ_k −Ｙ_k-1 ）／６ Ｂ_k ＝（Ｙ_k+1 −２Ｙ_k ＋Ｙ_k-1 ）／２ Ｃ_k ＝（Ｙ_k+1 −Ｙ_k-1 ）／２ ここで、Ｄ_k は未知のため、 Ｄ_k ＝（Ｄ₁ Ｙ_k+2 ＋Ｄ₂ Ｙ_k+1 ＋Ｄ₃ Ｙ_k ＋Ｄ₄ Ｙ
_k-1 ）／６ とおく。また、スプライン補間関数ｆ_k （ｘ）は上述の
通り、Ｘ＝ｔなる変数変換をしているため、 ｆ_k （ｘ）＝ｆ_k （ｔ） となる。よって、 ｆ_k （ｔ）＝｛（Ｙ_k+2 −３Ｙ_k+1 ＋３Ｙ_k −Ｙ_k-1 ）
／６｝ｔ³ ＋｛（Ｙ_k+1 −２Ｙ_k ＋Ｙ_k-1 ）／２｝ｔ²
＋｛（Ｙ_k+1 −Ｙ_k-1 ）／２｝ｔ＋（Ｄ₁ Ｙ_k+2 ＋Ｄ₂
Ｙ_k+1 ＋Ｄ₃ Ｙ_k ＋Ｄ₄ Ｙ_k-1 ）／６ となり、これを画像データＹ_k-1 ，Ｙ_k ，Ｙ_k+1 ，Ｙ
_k+2 について整理すると、下記式（14）で表すことがで
きる。F (X) = f (0) + f ′ (0) X + {f ″ (0) / 2} X ² (13) Here, each section X _{k−2 to} X _k−1 , X _{k− 1} ~ X _k , X _k ~
The interval between X _{k + 1} , X _{k + 1 to} X _{k + 2} (referred to as lattice interval) is 1
And then, if the position of the interpolation point X _p in the pixel X _{k + 1} directions from the pixel X _k and t (0 ≦ t ≦ 1) , the formula (7), (8),
(9) from _{~ (13), f k '} (0) = C k = (Y k + 1 -Y k-1) / 2 f k' (1) = 3A k + 2B k + C k = (Y k + _{2-
Y k) / 2 f k "} (0) = Y k + 1 -2Y k + Y k-1 = 2B _{Therefore, A k = (Y k +} 2 -3Y k + 1 + 3Y k -Y k-1) / 6 B _k = (Y _{k + 1} −2Y _k + Y _k−1 ) / 2 C _k = (Y _{k + 1} −Y _k−1 ) / 2 Since D _k is unknown, D _k = (D ₁ Y _{k + 2} + D ₂ Y _{k + 1} + D ₃ Y _k + D ₄ Y
_k-1 ) / 6. Further, as described above, the spline interpolation function f _k (x) performs the variable transformation of X = t, so that f _k (x) = f _k (t). Therefore, f _k (t) = ｛(Y _{k + 2} −3Y _{k + 1} + 3Y _k −Y _k−1 )
/ 6｝ t ³ + ｛(Y _{k + 1} -2Y _k + Y _{k -1} ) / 2｝ t ²
+ ｛(Y _{k + 1} −Y _k−1 ) / 2｝ t + (D ₁ Y _{k + 2} + D ₂
Y _{k + 1} + D ₃ Y _k + D ₄ Y _k-1 ) / 6, which is the image data Y _k-1 , Y _k , Y _{k + 1} , Y
_By rearranging _{k + 2} , it can be expressed by the following equation (14).

【００３１】 ｆ_k （ｔ）＝｛（−ｔ³ ＋３ｔ² −３ｔ＋Ｄ₄ ）／６｝Ｙ_k-1 ＋｛（３ｔ³ −６ｔ² ＋Ｄ₃ ）／６｝Ｙ_k ＋｛（−３ｔ³ ＋３ｔ² ＋３ｔ＋Ｄ₂ ）／６｝Ｙ_k+1 ＋｛（ｔ³ ＋Ｄ₁ ）／６｝Ｙ_k+2 （14） ここで、ｔ＝１とおけば、 ｆ_k （１）＝｛（Ｄ₄ −１）／６｝Ｙ_k-1 ＋｛（Ｄ₃ −
３）／６｝Ｙ_k ＋｛（Ｄ₂ ＋３）／６｝Ｙ_k+1 ＋｛（Ｄ
₁ ＋１）／６｝Ｙ_k+2 次に区間Ｘ_k+1 〜Ｘ_k+2 についての式（14）は、 ｆ_k+1 （ｔ）＝｛（−ｔ³ ＋３ｔ² −３ｔ＋Ｄ₄ ）／６｝Ｙ_k ＋｛（３ｔ³ −６ｔ² ＋Ｄ₃ ）／６｝Ｙ_k+1 ＋｛（−３ｔ³ ＋３ｔ² ＋３ｔ＋Ｄ₂ ）／６｝Ｙ_k+2 ＋｛（ｔ³ ＋Ｄ₁ ）／６｝Ｙ_k+3 （15） ここで、ｔ＝０とおけば、 ｆ_k+1 （０）＝（Ｄ₄ ／６）Ｙ_k ＋（Ｄ₃ ／６）Ｙ_k+1
＋（Ｄ₂ ／６）Ｙ_k+2 ＋（Ｄ₁ ／６）Ｙ_k+3 連続性の条件（ｆ_k （１）＝ｆ_k+1 （０））、および各
原画像データに対応する係数同士が等しいという条件に
より、Ｄ₄ −１＝０，Ｄ₃ −３＝Ｄ₄ ，Ｄ₂ ＋３＝
Ｄ₃ ，Ｄ₁ ＋１＝Ｄ₂ ，Ｄ₁ ＝０、となり、したがっ
て、 Ｄ_k ＝（Ｙ_k+1 ＋４Ｙ_k ＋Ｙ_k-1 ）／６ となる。よって、 Ｙ_p ＝ｆ_k （ｔ）＝｛（−ｔ³ ＋３ｔ² −３ｔ＋１）／６｝Ｙ_k-1 ＋｛（３ｔ³ −６ｔ² ＋４）／６｝Ｙ_k ＋｛（−３ｔ³ ＋３ｔ² ＋３ｔ＋１）／６｝Ｙ_k+1 ＋｛ｔ³ ／６｝Ｙ_k+2 （16） したがって、原画像データＹ_k-1 、Ｙ_k 、Ｙ_k+1 、Ｙ
_k+2 にそれぞれ対応する補間係数ｂ１_k-1 、ｂ１_k 、ｂ
１_k+1 、ｂ１_k+2 は、 ｂ１_k-1 ＝（−ｔ³ ＋３ｔ² −３ｔ＋１）／６ ｂ１_k ＝（３ｔ³ −６ｔ² ＋４）／６ ｂ１_k+1 ＝（−３ｔ³ ＋３ｔ² ＋３ｔ＋１）／６ ｂ１_k+2 ＝ｔ³ ／６ となる。F _k (t) = {(− t ³ + 3t ² −3t + D ₄ ) / 6} Y _k−1 + {(3t ³ −6t ² + D ₃ ) / 6} Y _k + {(− 3t ³ + 3t ² + 3t + D ₂ ) / 6} Y _{k + 1} + {(t ³ + D ₁ ) / 6} Y _{k + 2} (14) Here, if t = 1, then f _k (1) = {(D ₄ − 1) / 6} Y _k-1 + {(D ₃ −
3) / 6｝ Y _k + ｛(D ₂ +3) / 6｝ Y _{k + 1} + ｛(D
₁ +1) / 6} Y _{k + 2} Next, the equation (14) for the sections X _{k + 1 to} X _{k + 2} is f _{k + 1} (t) = {(− t ³ + 3t ² −3t + D ₄ ) / _{6} Y k + {(3t} 3 -6t 2 + D 3) / 6} Y k + 1 + {(- 3t 3 + 3t 2 + 3t + D 2) / 6} Y k + 2 + {(t 3 + D 1) / 6 } Y _{k + 3} (15) wherein, if put as _{t = 0, f k + 1} (0) = (D 4/6) Y k + (D 3/6) Y k + 1
_{+ (D 2/6) Y} k + 2 + (D 1/6) Y k + 3 continuity conditions _{(f k (1) = f} k + 1 (0)), and corresponding to each original image data Under the condition that the coefficients are equal, D ₄ −1 = 0, D ₃ −3 = D ₄ , D ₂ + 3 =
D ₃ , D ₁ + 1 = D ₂ , D ₁ = 0, and therefore D _k = (Y _{k + 1} + 4Y _k + Y _k-1 ) / 6. _{Therefore, Y p = f k (t} ) = {(- t 3 + 3t 2 -3t + 1) / 6} Y k-1 + {(3t 3 -6t 2 +4) / 6} Y k + {(- 3t 3 + 3t ^{2 + 3t + 1) / 6} } Y k + 1 + {t 3/6} Y k + 2 (16) Therefore, the original image data _{Y k-1, Y k,} Y k + 1, Y
interpolation coefficients b1 _k-1 , b1 _k , b corresponding to _{k + 2} , respectively
1 _{k + 1} and b1 _{k + 2} are: b1 _k-1 = (-t ³ + 3t ² -3t + 1) / 6 b1 _k = (3t ³ -6t ² +4) / 6 b1 _{k + 1} = (-3t ³ + 3t a ^{2 + 3t + 1) / 6} b1 k + 2 = t 3/6.

【００３２】以上の演算を各区間Ｘ_k-2 〜Ｘ_k-1 ，Ｘ
_k-1 〜Ｘ_k ，Ｘ_k 〜Ｘ_k+1 ，Ｘ_k+1 〜Ｘ_k+2 について繰
り返すことにより、原画像データの全体について補間係
数ｂ１を求めることができる。The above calculation is performed for each section X _{k-2 to} X _k-1 , X
By repeating for _{k−1 to} X _k , X _{k to} X _{k + 1} , and X _{k + 1 to} X _{k + 2} , the interpolation coefficient b1 can be obtained for the entire original image data.

【００３３】また、実際の画像は画素が２次元に配列さ
れて形成されるため、上記補間係数ｂ１_k-1 、ｂ１_k 、
ｂ１_k+1 、ｂ１_k+2 は、画像を構成する画素の互いに異
なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求
められるものである。Further, since an actual image is formed by arranging pixels two-dimensionally, the above interpolation coefficients b1 _k-1 , b1 _k ,
b1 _{k + 1} and b1 _{k + 2} are obtained for each of two different array directions (i direction and j direction) of the pixels forming the image.

【００３４】次いで、縦線形横リプリケーションについ
て説明する。縦線形横リプリケーションは画像上の縦方
向に延びるエッジの鮮鋭度を強調することができる補間
方法であり、図３に示すように、補間画素Ｐ′₀ を囲む
近傍４点の原画像の原画素Ｐ_A 、Ｐ_B 、Ｐ_C 、Ｐ_D の原
画像データＳ_A 、Ｓ_B 、Ｓ_C 、Ｓ_D を用いて補間を行う
ものである。なお、図３においては縦方向にｙ軸を、横
方向にｘ軸を設定する。Next, the vertical linear cross replication will be described. The vertical linear horizontal replication is an interpolation method capable of emphasizing the sharpness of edges extending in the vertical direction on the image, and as shown in FIG. 3, the original pixels of the original image of four neighboring pixels surrounding the interpolated pixel P ′ _0. The interpolation is performed using the original image data S _A , S _B , S _C , and S _D of P _A , P _B , P _C , and P _D. In FIG. 3, the y axis is set in the vertical direction and the x axis is set in the horizontal direction.

【００３５】ここで原画素Ｐ_A 〜Ｐ_B 間、Ｐ_C 〜Ｐ
_D 間、Ｐ_A 〜Ｐ_C 間、Ｐ_B 〜Ｐ_D 間のピッチをそれぞれ
１とし、補間画素Ｐ′₀ の、原画素Ｐ_A （Ｐ_B ）からの
ｙ軸方向の距離がＴｙである場合、まず補間画素Ｐ′₀
のｙ軸方向の位置に対応する補間画素Ｐ′ｍ、Ｐ′ｎの
補間画像データＳ′ｍ、Ｓ′ｎを、下記の式に基づく線
形補間の演算により求める。Here, between the original pixels P _{A and} P _B , and P _{C to} P
_When the pitches between _D, between P _{A and} P _{C, and} between P _{B and} P _D are 1, respectively, and the distance of the interpolation pixel P ′ ₀ from the original pixel P _A (P _B ) in the y-axis direction is Ty. , The interpolation pixel P ′ ₀
The interpolated image data S'm, S'n of the interpolated pixels P'm, P'n corresponding to the position in the y-axis direction are calculated by linear interpolation based on the following equation.

【００３６】Ｓ′ｍ＝（１−Ｔｙ）Ｓ_A ＋ＴｙＳ_D Ｓ′ｎ＝（１−Ｔｙ）Ｓ_B ＋ＴｙＳ_C 次いで、補間画素Ｐ′₀ と原画素Ｐ_A および原画素Ｐ_D
を結ぶ線分ｌ１との距離Ｌ１、ならびに補間画素Ｐ′₀
と原画素Ｐ_B および原画素Ｐ_C を結ぶ線分ｌ２との距離
Ｌ２を求め、Ｌ１≦Ｌ２の場合は、 Ｐ′₀ ＝Ｓ′ｍ とし、Ｌ１＞Ｌ２の場合は、 Ｐ′₀ ＝Ｓ′ｎ とする最近傍補間（リプリケーション）を行う。[0036] S'm = (1-Ty) S A + TyS D S'n = (1-Ty) S B + TyS C then interpolated pixel P _'0 and the original pixel P _A and the original pixel P _D
Distance L1 between the line segment l1 connecting, and interpolated pixel P _'0
And a line segment L2 connecting the original pixel P _B and the original pixel P _C are obtained. If L1 ≦ L2, then P ′ ₀ = S′m, and if L1> L2, P ′ ₀ = S The nearest neighbor interpolation (replication) with ‘n’ is performed.

【００３７】以上の演算を他の補間画素Ｐ′₀ について
も同様に適用して、縦線形横リプリケーションの各補間
画像データＳ′を求めることができる。[0037] 'and similarly applied to _0, the interpolation image data S of a vertical linear horizontal replication' the above operations other interpolation pixel P can be obtained.

【００３８】次いで、横線形縦リプリケーションについ
て説明する。横線形縦リプリケーションは画像上の横方
向に延びるエッジの鮮鋭度を強調することができる補間
方法であり、図４に示すように、補間画素Ｐ′₀ を囲む
近傍４点の原画像の原画素Ｐ_A 、Ｐ_B 、Ｐ_C 、Ｐ_D の原
画像データＳ_A 、Ｓ_B 、Ｓ_C 、Ｓ_D を用いて補間を行う
ものである。なお、図４においては図３と同様に縦方向
にｙ軸を、横方向にｘ軸を設定する。Next, the horizontal linear vertical replication will be described. The horizontal linear vertical replication is an interpolation method capable of emphasizing the sharpness of the edge extending in the horizontal direction on the image, and as shown in FIG. 4, the original pixels of the original image of four neighboring points surrounding the interpolated pixel P ′ _0. The interpolation is performed using the original image data S _A , S _B , S _C , and S _D of P _A , P _B , P _C , and P _D. In FIG. 4, the y-axis is set in the vertical direction and the x-axis is set in the horizontal direction as in FIG.

【００３９】ここで原画素Ｐ_A 〜Ｐ_B 間、Ｐ_C 〜Ｐ
_D 間、Ｐ_A 〜Ｐ_C 間、Ｐ_B 〜Ｐ_D 間のピッチをそれぞれ
１とし、補間画素Ｐ′₀ の、原画素Ｐ_A （Ｐ_C ）からの
ｘ軸方向の距離がＴｘである場合、まず補間画素Ｐ′₀
のｘ軸方向の位置に対応する補間画素Ｐ′ｍ、Ｐ′ｎの
補間画像データＳ′ｍ、Ｓ′ｎを、下記の式に基づく線
形補間の演算により求める。Here, between the original pixels P _{A and} P _B , and P _{C to} P
_When the pitches between _D, between P _{A and} P _{C, and} between P _{B and} P _D are 1, and the distance of the interpolated pixel P ′ ₀ from the original pixel P _A (P _C ) in the x-axis direction is Tx. , The interpolation pixel P ′ ₀
The interpolated image data S'm, S'n of the interpolated pixels P'm, P'n corresponding to the position in the x-axis direction are calculated by linear interpolation based on the following equation.

【００４０】Ｓ′ｍ＝（１−Ｔｘ）Ｓ_A ＋ＴｘＳ_B Ｓ′ｎ＝（１−Ｔｘ）Ｓ_D ＋ＴｘＳ_C 次いで、補間画素Ｐ′₀ と原画素Ｐ_A および原画素Ｐ_B
を結ぶ線分ｌ３との距離Ｌ３、ならびに補間画素Ｐ′₀
と原画素Ｐ_D および原画素Ｐ_C を結ぶ線分ｌ４との距離
Ｌ４を求め、Ｌ３≦Ｌ４の場合は、 Ｐ′₀ ＝Ｓ′ｍ とし、Ｌ３＞Ｌ４の場合は、 Ｐ′₀ ＝Ｓ′ｎ とする最近傍補間（リプリケーション）を行う。[0040] S'm = (1-Tx) S A + TxS B S'n = (1-Tx) S D + TxS C then interpolated pixel P _'0 and the original pixel P _A and the original pixel P _B
The distance L3 from the line segment l3 connecting the pixel and the interpolation pixel P ′ ₀
The distance L4 between the original pixel P _D and the line segment 14 connecting the original pixel P _C and the original pixel P _C is obtained. If L3 ≦ L4, then P ′ ₀ = S′m, and if L3> L4, P ′ ₀ = S The nearest neighbor interpolation (replication) with ‘n’ is performed.

【００４１】以上の演算を他の補間画素Ｐ′₀ について
も同様に適用して、横線形縦リプリケーションの各補間
画像データＳ′を求めることができる。[0041] 'and similarly applied to _0, the interpolation image data S of the horizontal linear vertical replication' the above operations other interpolation pixel P can be obtained.

【００４２】次いで右斜め用補間について説明する。右
斜め用補間は、右上がりに傾くエッジの鮮鋭度を強調す
ることができる補間方法であり、図５に示すように、補
間画素Ｐ′₀ を囲む近傍４点の原画像の原画素Ｐ_A 、Ｐ
_B 、Ｐ_C 、Ｐ_D の原画像データＳ_A 、Ｓ_B 、Ｓ_C 、Ｓ_D
を用いて補間を行うものである。Next, the right diagonal interpolation will be described. The diagonal interpolation for rightward is an interpolation method capable of emphasizing the sharpness of an edge inclined upward to the right, and as shown in FIG. 5, the original pixels P _A of the original image of four neighboring pixels surrounding the interpolated pixel P ′ _0. , P
_B, P _C, the original image data S _A of _{P D, S B, S C} , S D
Is used for interpolation.

【００４３】ここで原画素Ｐ_A 〜Ｐ_B 間、Ｐ_C 〜Ｐ
_D 間、Ｐ_A 〜Ｐ_C 間、Ｐ_B 〜Ｐ_D 間のピッチをそれぞれ
１とし、補間画素Ｐ′₀ を通って右斜め上方に傾く傾き
が１の直線ｌ５と原画素Ｐ_A および原画素Ｐ_B を結ぶ線
分ｌ３との交点Ｐ′ｍの原画素Ｐ_A （Ｐ_D ）からのｘ軸
方向の距離がＴｘ、直線ｌ５と原画素Ｐ_A および原画素
Ｐ_D を結ぶ線分ｌ１との交点Ｐ′ｎの原画素Ｐ
_A （Ｐ_B ）からのｙ軸方向の距離がＴｙである場合、ま
ず補間画素Ｐ′ｍ、Ｐ′ｎの補間画像データＳ′ｍ、
Ｓ′ｎを、下記の式に基づく線形補間の演算により求め
る。Here, between the original pixels P _{A and} P _B , and P _{C to} P
The pitch between _D, between P _{A and} P _{C, and} between P _{B and} P _D is 1, respectively, and the straight line 15 and the original pixel P _A and the original pixel whose inclination is 1 obliquely upward to the right through the interpolation pixel P ′ ₀ The distance in the x-axis direction from the original pixel P _A (P _D ) at the intersection P′m with the line segment 13 connecting P _B is Tx, and the straight line 15 is the line segment 11 connecting the original pixel P _A and the original pixel P _D. The original pixel P at the intersection P'n of
_When the distance in the y-axis direction from _A (P _B ) is Ty, first, the interpolated image data S′m of the interpolated pixels P′m and P′n,
S'n is calculated by linear interpolation calculation based on the following equation.

【００４４】Ｓ′ｍ＝（１−Ｔｘ）Ｓ_A ＋ＴｘＳ_B Ｓ′ｎ＝（１−Ｔｘ）Ｓ_A ＋ＴｘＳ_D 次いで、直線ｌ５のＰ′ｍおよびＰ′ｎ間の距離Ｌ５を
求め、さらに補間画素Ｐ′₀ のＰ′ｍからの距離Ｌ′を
求める。そして補間画像データＳ′ｍ、Ｓ′ｎを用いた
下記の式に基づく線形補間の演算を行って、補間画像デ
ータＳ′₀ を求める。S'm = (1-Tx) S _A + TxS _B S'n = (1-Tx) S _A + TxS _D Then, the distance L5 between P'm and P'n of the straight line 15 is determined and further interpolated. Request 'distance L from P'm _0' pixels P. Then, the interpolation image data S ′ ₀ is obtained by performing the linear interpolation calculation based on the following equation using the interpolation image data S′m and S′n.

【００４５】Ｓ′₀ ＝（Ｌ５−Ｌ′）／Ｌ５・Ｓ′ｍ＋
Ｌ′／Ｌ５・Ｓ′ｎ 以上の演算を他の補間画素Ｐ′₀ についても同様に適用
して、各補間画像データＳ′を求めることができる。[0045] _{S '0 = (L5-L} ') / L5 · S'm +
L ′ / L5 · S′n The above calculation can be similarly applied to other interpolation pixels P ′ ₀ to obtain each interpolated image data S ′.

【００４６】次いで左斜め用補間について説明する。左
斜め用補間は、左上がりに傾くエッジの鮮鋭度を強調す
ることができる補間方法であり、図６に示すように、補
間画素Ｐ′₀ を囲む近傍４点の原画像の原画素Ｐ_A 、Ｐ
_B 、Ｐ_C 、Ｐ_D の原画像データＳ_A 、Ｓ_B 、Ｓ_C 、Ｓ_D
を用いて補間を行うものである。Next, the left diagonal interpolation will be described. The diagonal interpolation for the left is an interpolation method capable of emphasizing the sharpness of an edge inclined to the upper left, and as shown in FIG. 6, the original pixels P _A of the original image of four neighboring pixels surrounding the interpolated pixel P ′ _0. , P
_B, P _C, the original image data S _A of _{P D, S B, S C} , S D
Is used for interpolation.

【００４７】ここで原画素Ｐ_A 〜Ｐ_B 間、Ｐ_C 〜Ｐ
_D 間、Ｐ_A 〜Ｐ_C 間、Ｐ_B 〜Ｐ_D 間のピッチをそれぞれ
１とし、補間画素Ｐ′₀ を通って左斜め上方に傾く傾き
が１の直線ｌ６と原画素Ｐ_A および原画素Ｐ_B を結ぶ線
分ｌ３との交点Ｐ′ｍの原画素Ｐ_A （Ｐ_D ）からのｘ軸
方向の距離がＴｘ、直線ｌ６と原画素Ｐ_B および原画素
Ｐ_C を結ぶ線分ｌ１との交点Ｐ′ｎの原画素Ｐ_B からの
ｙ軸方向の距離がＴｙである場合、まず補間画素Ｐ′
ｍ、Ｐ′ｎの補間画像データＳ′ｍ、Ｓ′ｎを、下記の
式に基づく線形補間の演算により求める。Here, between the original pixels P _{A and} P _B , and P _{C to} P
The straight line 16 and the original pixel P _A and the original pixel having a pitch of 1 between _D , P _{A to} P _C , and P _{B to} P _D and each of which is inclined diagonally upward to the left through the interpolation pixel P ′ ₀ are 1. The distance in the x-axis direction from the original pixel P _A (P _D ) of the intersection point P′m with the line segment 13 connecting P _B is Tx, and the line segment 16 is the line segment 11 connecting the original pixel P _B and the original pixel P _C. If the distance in the y-axis direction from the original pixel P _B of the intersection point P′n of
Interpolated image data S′m and S′n of m and P′n are obtained by a linear interpolation operation based on the following equation.

【００４８】Ｓ′ｍ＝（１−Ｔｘ）Ｓ_A ＋ＴｘＳ_B Ｓ′ｎ＝（１−Ｔｘ）Ｓ_B ＋ＴｘＳ_D 次いで、直線ｌ６のＰ′ｍおよびＰ′ｎ間の距離Ｌ６を
求め、さらに補間画素Ｐ′₀ のＰ′ｍからの距離Ｌ′を
求める。そして補間画像データＳ′ｍ、Ｓ′ｎを用いた
下記の式に基づく線形補間の演算を行って、補間画像デ
ータＳ′₀ を求める。S'm = (1-Tx) S _A + TxS _B S'n = (1-Tx) S _B + TxS _D Then, the distance L6 between P'm and P'n of the straight line 16 is obtained and further interpolated. Request 'distance L from P'm _0' pixels P. Then, the interpolation image data S ′ ₀ is obtained by performing the linear interpolation calculation based on the following equation using the interpolation image data S′m and S′n.

【００４９】Ｓ′₀ ＝（Ｌ６−Ｌ′）／Ｌ６・Ｓ′ｍ＋
Ｌ′／Ｌ６・Ｓ′ｎ 以上の演算を他の補間画素Ｐ′₀ についても同様に適用
して、各補間画像データＳ′を求めることができる。[0049] _{S '0 = (L6-L} ') / L6 · S'm +
L ′ / L6 · S′n The above calculation can be similarly applied to other interpolation pixels P ′ ₀ to obtain each interpolated image data S ′.

【００５０】このようにして求められた各補間方法によ
る補間係数が記憶手段３に記憶される。The interpolation coefficient obtained by each interpolation method is stored in the storage means 3.

【００５１】次に、ニューラルネットワーク２において
学習を繰り返して、上述した補間方法により求められた
補間係数ｂｊ_k-1 、ｂｊ_k 、ｂｊ_k+1 、ｂｊ_k+2 を線形
結合して新たな補間係数を求めるための重み付け係数を
出力するニューラルネットワークの作り方、およびその
作用を説明する。Next, learning is repeated in the neural network ₂ to linearly combine the interpolation coefficients bj _k-1 , bj _k , bj _{k + 1} , bj _{k + 2} obtained by the above-described interpolation method to newly perform interpolation. A method of making a neural network that outputs weighting coefficients for obtaining coefficients and its operation will be described.

【００５２】図７は誤差逆伝播学習（バックプロパゲー
ション）機能を備えたニューラルネットワークの一例を
表す図である。誤差逆伝播学習（バックプロパゲーショ
ン）とは、ニューラルネットワークに所定の機能を付与
するためのよく知られた学習方法で、ニューラルネット
ワークの出力を正解（教師信号）と比べることにより、
出力側から入力側に向かって順次結合の重み（シナプス
結合のウェイト）を修正するというものである。FIG. 7 is a diagram showing an example of a neural network having an error back propagation learning (back propagation) function. Error backpropagation learning (backpropagation) is a well-known learning method for giving a predetermined function to a neural network. By comparing the output of the neural network with the correct answer (teaching signal),
The weight of the connection (the weight of the synaptic connection) is sequentially corrected from the output side to the input side.

【００５３】図７に示すように、このニューラルネット
ワークの第１層（入力層）、第２層（中間層）、第３層
（出力層）はそれぞれｎ₁ 個，ｎ₂ 個、５個のユニット
から構成され、第１層（入力層）に入力される各信号Ｆ
₁ ，Ｆ₂ ，…，Ｆ_n は原画像の局所的なパターンである
画像の一部に対応する画像信号であり、第３層（出力
層）からの５つの出力ｗ１からｗ５は補間係数を線形結
合するための重み付け係数に対応した信号である。第ｋ
層のｉ番目のユニットをＵk,i 、該ユニットＵk,i への
各入力をＸk,i 、各出力をＹk,i 、Ｕk,i からＵk+1,j
への結合の重みをＷk,i;k+1,j とし、各ユニットＵk,j
は同一の特性関数As shown in FIG. 7, the first layer (input layer), the second layer (intermediate layer), and the third layer (output layer) of this neural network are n ₁ , n ₂ , and 5, respectively. Each signal F composed of a unit and input to the first layer (input layer)
₁ , F ₂ , ..., F _n are image signals corresponding to a part of the image that is a local pattern of the original image, and the five outputs w1 to w5 from the third layer (output layer) are interpolation coefficients. It is a signal corresponding to a weighting coefficient for linear combination. The k th
The i-th unit of the layer is Uk, i, each input to the unit Uk, i is Xk, i, each output is Yk, i, Uk, i to Uk + 1, j
Let Wk, i; k + 1, j be the weight of coupling to each unit Uk, j
Are the same characteristic functions

【００５４】[0054]

【数１】 [Equation 1]

【００５５】を有するものとする。このとき、各ユニッ
トＵk,j の入力Ｘk,j 、出力Ｙk,j は、It is assumed that At this time, the input Xk, j and the output Yk, j of each unit Uk, j are

【００５６】[0056]

【数２】 [Equation 2]

【００５７】[0057]

【数３】 (Equation 3)

【００５８】となる。ただし入力層を構成する各ユニッ
トＵ1,i(i ＝1,2,…，ｎ₁ ) への各入力Ｆ₁ ，Ｆ₂ ，
…，Ｆ_n1は重みづけされずにそのまま各ユニットＵ1,i
(i ＝1,2,…，ｎ₁ ) に入力される。入力されたｎ₁ 個
の信号Ｆ₁ ，Ｆ₂ ，…，Ｆ_n1は、各結合の重みＷk,i;k+
1,j によって重み付けられながら最終的な出力ｗ１〜ｗ
５にまで伝達され、これにより重み付け係数に対応した
信号が求められる。It becomes However, each input F ₁ , F ₂ , to each unit U1, i (i = 1,2, ..., n ₁ ) forming the input layer
..., F _n1 is not weighted and is directly applied to each unit U1, i
(i = 1,2, ..., n 1) is input to. The input n ₁ signals F ₁ , F ₂ , ..., F _n1 have weights Wk, i; k + of each coupling.
Final outputs w1 to w while being weighted by 1, j
5, and a signal corresponding to the weighting coefficient is obtained.

【００５９】ここで、上記各結合の重みＷk,i;k+1,j の
決定方法について説明する。まず乱数により各結合の重
みＷk,i;k+1,j の初期値が与えられる。このとき、入力
Ｆ₁〜Ｆ_n1が最大に変動しても、出力ｗ１〜ｗ５が所定
範囲内の値またはこれに近い値となるように、その乱数
の範囲を制限しておくことが好ましい。Here, a method of determining the weights Wk, i; k + 1, j of the respective connections will be described. First, an initial value of the weight Wk, i; k + 1, j of each connection is given by a random number. In this case, even if the input F ₁ to F _n1 is varied to maximize the output w1~w5 such that a value or a value close thereto within a predetermined range, it is preferable to limit the scope of the random number.

【００６０】まず、原画像における局所的な画像の特性
（平坦部であること、縦方向に延びるエッジがあること
など）が既知の原画像データをｎ₁ 個の入力Ｆ₁ ，
Ｆ₂ ，…，Ｆ_n1として、ニューラルネットワークに入力
する。本発明の特徴として、入力される局所的なパター
ンに含まれる画像中の局所的なパターンに適した補間係
数の重み付けが他の補間係数の重み付けと比較して大き
くなるような重み付け係数が出力されるようにする。First, the original image data of which the local image characteristics in the original image (being a flat portion, having edges extending in the vertical direction, etc.) are known are input into n ₁ input F ₁ ,
Input to the neural network as F ₂ , ..., F _n1 . As a feature of the present invention, a weighting coefficient is output so that the weighting of the interpolation coefficient suitable for the local pattern in the image included in the input local pattern is larger than the weighting of other interpolation coefficients. To do so.

【００６１】このｎ₁ 個の入力Ｆ₁ ，Ｆ₂ ，…，Ｆ_n1が
図７に示すニューラルネットワークに入力され、各ユニ
ットＵk,i の出力Ｙk,i がモニタされる。The n ₁ inputs F ₁ , F ₂ , ..., F _n1 are input to the neural network shown in FIG. 7, and the output Yk, i of each unit Uk, i is monitored.

【００６２】各出力Ｙk,i が求められると、最終的な出
力であるｗ１〜ｗ５と、この画像に関し正しい補正値と
しての教師信号との二乗誤差When each output Yk, i is obtained, the square error between the final outputs w1 to w5 and the teacher signal as a correct correction value for this image.

【００６３】[0063]

【数４】 (Equation 4)

【００６４】が求められる。この二乗誤差Ｅ₁ 〜Ｅ₅ が
それぞれ最小となるように、以下のようにして各結合の
重みＷk,i;k+1,j が修正される。なお、以下ｗ１の出力
に関して述べｗ２〜ｗ５についてはｗ１と同様であるた
め、ここでは省略する。Is required. The weights Wk, i; k + 1, j of the respective connections are corrected as follows so that the squared errors E _{1 to} E ₅ are minimized. Note that the output of w1 will be described below, and w2 to w5 are the same as w1 and will be omitted here.

【００６５】二乗誤差Ｅ₁ を最小にするには、このＥ₁
はＷk,i;k+1,j の関数であるからTo minimize the squared error E ₁ , this E ₁
Is a function of Wk, i; k + 1, j

【００６６】[0066]

【数５】 (Equation 5)

【００６７】このように各結合の重みＷk,i;k+1,j が修
正される。ここでηは学習係数と呼ばれる係数である。In this way, the weight Wk, i; k + 1, j of each connection is corrected. Here, η is a coefficient called a learning coefficient.

【００６８】ここで、Here,

【００６９】[0069]

【数６】 (Equation 6)

【００７０】であり、式(18)よりFrom equation (18),

【００７１】[0071]

【数７】 (Equation 7)

【００７２】であるから、式(22)は、Therefore, the equation (22) is

【００７３】[0073]

【数８】 (Equation 8)

【００７４】となる。Is obtained.

【００７５】ここで、式(20)より、From equation (20),

【００７６】[0076]

【数９】 [Equation 9]

【００７７】式(19)を用いてこの式(25)を変形すると、When this equation (25) is transformed using the equation (19),

【００７８】[0078]

【数１０】 (Equation 10)

【００７９】ここで、式(17)より、From equation (17),

【００８０】[0080]

【数１１】 [Equation 11]

【００８１】であるから、Therefore,

【００８２】[0082]

【数１２】 (Equation 12)

【００８３】となる。It becomes

【００８４】式(24)においてｋ＝２と置き、式(26)、式
(28)を式(24)に代入すると、In equation (24), k = 2 is set, and equation (26)
Substituting (28) into equation (24) gives

【００８５】[0085]

【数１３】 (Equation 13)

【００８６】この式(29)を式(21)に代入して、Substituting this equation (29) into equation (21),

【００８７】[0087]

【数１４】 [Equation 14]

【００８８】となる。この(30)式に従って、Ｗ2,i;3,1
(i=1,2,…，ｎ₁ ）の各結合の重みが修正される。Is as follows. According to this equation (30), W2, i; 3,1
The weight of each connection (i = 1, 2, ..., N ₁ ) is modified.

【００８９】次に、Next,

【００９０】[0090]

【数１５】 (Equation 15)

【００９１】であるから、この(31)式に式(18)、式(19)
を代入して、Therefore, equation (18) and equation (19) are added to equation (31).
And assign

【００９２】[0092]

【数１６】 (Equation 16)

【００９３】ここで(27)式より、From equation (27),

【００９４】[0094]

【数１７】 [Equation 17]

【００９５】であるから、この式(33)と、式(26)、式(2
8)を式(32)に代入して、Therefore, this equation (33), equation (26), and equation (2
Substituting (8) into equation (32),

【００９６】[0096]

【数１８】 (Equation 18)

【００９７】式(24)においてｋ＝１と置き、式(34)を式
(24)に代入すると、By setting k = 1 in the equation (24), the equation (34) is changed to the equation
Substituting into (24),

【００９８】[0098]

【数１９】 [Equation 19]

【００９９】この式(35)を式(21)に代入すると、ｋ＝１
と置いて、Substituting equation (35) into equation (21), k = 1
Put,

【０１００】[0100]

【数２０】 (Equation 20)

【０１０１】となり、式(30)で修正されたＷ2,i;3,1(i=
1,2,…，ｎ₁ ）がこの式(36)に代入され、Ｗ1,i;2,j(i=
1,2,…，ｎ₁ ；j=1,2,…，ｎ₂ ）が修正される。And W2, i; 3,1 (i =
1,2, ..., n ₁ ) are substituted into this equation (36), and W1, i; 2, j (i =
, 1, ..., N ₁ ; j = 1, 2, ..., N ₂ ) are modified.

【０１０２】なお、理論的には式(30)、式(21)を用い、
学習係数ηを十分小さくとって学習回数を十分に多くす
ることにより、各結合の重みＷk,i;k+1,j を所定の値に
集束させ得るが、学習係数ηをあまり小さくすることは
学習の進みを遅くするため現実的ではない。一方学習係
数ηを大きくとると学習が振動してしまう（上記結合の
重みが所定の値に収束しない）ことがある。そこで実際
には、結合の重みの修正量に次式のような慣性項を加え
て振動を抑え、学習係数ηはある程度大きな値に設定さ
れる。（例えば、D.E.Rumelhart,G.E.Hinton and R.J.W
illiams:Learning internal representations by error
propagation In Parallel DistributedProcessing,Vol
ume 1,J.L.McClelland,D.E.Rumelhart and The PDP Res
earch Group,MIT Press,1986b」参照）Theoretically, using the equations (30) and (21),
By setting the learning coefficient η small enough to increase the number of times of learning sufficiently, the weights Wk, i; k + 1, j of each connection can be converged to a predetermined value, but it is not possible to make the learning coefficient η too small. It is not realistic because it slows down the learning process. On the other hand, if the learning coefficient η is set to be large, learning may oscillate (the weight of the above coupling does not converge to a predetermined value). Therefore, in practice, an inertial term such as the following equation is added to the correction amount of the coupling weight to suppress the vibration, and the learning coefficient η is set to a relatively large value. (For example, DE Rumelhart, GE Hinton and RJW
illiams: Learning internal representations by error
propagation In Parallel Distributed Processing, Vol
ume 1, JLMcClelland, DERumelhart and The PDP Res
earch Group, MIT Press, 1986b '')

【０１０３】[0103]

【数２１】 (Equation 21)

【０１０４】ただしΔＷk,i;k+1,j （ｔ）は、ｔ回目の
学習における、修正後の結合重みＷk,i;k+1,j から修正
前の該結合の重みＷk,i;k+1,j を引いた修正量を表す。
また、αは、慣性項と呼ばれる係数である。However, ΔWk, i; k + 1, j (t) is the connection weight Wk, i; k + 1, j after correction from the connection weight Wk, i; It represents the correction amount minus k + 1, j.
Further, α is a coefficient called an inertial term.

【０１０５】慣性項α、学習係数ηとしてたとえばα＝
0.9 、η＝0.25を用いて各結合の重みＷk,i;k+1,j の修
正（学習）を例えば20万回行い、その後は、各結合の重
みＷk,i;k+1,j は最終の値に固定される。この学習の終
了時には５つの出力ｗ１〜ｗ５は上記各補間係数ｂｊ
_k-1 、ｂｊ_k 、ｂｊ_k+1 、ｂｊ_k+2 を線形結合する際の
入力される局所的なパターンである画像の特徴部分に応
じた重み付け係数を表す信号となる。As the inertia term α and the learning coefficient η, for example, α =
The weights Wk, i; k + 1, j of each connection are corrected (learned) 200 times, for example, using 0.9 and η = 0.25, and then the weights Wk, i; k + 1, j of each connection are It is fixed to the final value. At the end of this learning, the five outputs w1 to w5 are the above-mentioned interpolation coefficients bj.
It becomes a signal representing a weighting coefficient according to the characteristic portion of the image which is a local pattern that is input when linearly combining _k-1 , bj _k , bj _{k + 1} and bj _{k + 2} .

【０１０６】そこで学習が終了した後は、上記補間係数
ｂｊ_k-1 、ｂｊ_k 、ｂｊ_k+1 、ｂｊ_k+2 に応じた重み付
け係数を求めるため、原画像の局所的なパターンである
画像データの一部分が図７に示すニューラルネットワー
クに入力され、これにより得られた出力ｗ１〜ｗ５が、
その入力された局所的な画像に適した補間係数を大きく
重み付けする重み付け係数を表す信号となる。After the learning is finished, a weighting coefficient corresponding to the interpolation coefficients bj _k−1 , bj _k , bj _{k + 1} , bj _{k + 2} is obtained, so that an image which is a local pattern of the original image is obtained. Part of the data is input to the neural network shown in FIG. 7, and the outputs w1 to w5 obtained by this are
The signal represents a weighting coefficient for heavily weighting the interpolation coefficient suitable for the input local image.

【０１０７】なお、上記ニューラルネットワークは３層
構造のものに限られるものではなく、さらに多層にして
もよいことはもちろんである。また各層のユニットの数
も、補間係数の種類、必要とする精度等に応じた任意の
数に設定し得るものである。The neural network is not limited to the one having a three-layer structure, and needless to say, it may have more layers. Also, the number of units in each layer can be set to any number according to the type of interpolation coefficient, required accuracy, and the like.

【０１０８】次に、本発明の実施の形態の画像再生シス
テムの作用について説明する。Next, the operation of the image reproducing system according to the embodiment of the present invention will be described.

【０１０９】まず、補間演算装置１は画像データ記憶装
置22にあらかじめ記憶されている１次画像データＳorg
を読み出す。また補間演算装置１は、図示しない他の入
力手段から入力された拡大倍率に応じた拡大画像を表す
２次画像データを得るために、この読み出された１次画
像データＳorg を補間演算装置１に入力する。First, the interpolation calculation device 1 uses the primary image data Sorg stored in advance in the image data storage device 22.
Is read. Further, the interpolation calculation device 1 uses the read primary image data Sorg to obtain the secondary image data representing the enlarged image corresponding to the enlargement magnification input from other input means (not shown). To enter.

【０１１０】補間演算装置１に入力された１次画像デー
タＳorg は、ニューラルネットワーク２および補間演算
手段５に入力される。The primary image data Sorg input to the interpolation calculation device 1 is input to the neural network 2 and the interpolation calculation means 5.

【０１１１】なお、ニューラルネットワーク２には１次
画像データＳorg の局所的なパターンである一部分のデ
ータが原画像の全体について入力され、この局所的なデ
ータごとに上述した５種類の補間係数に乗じるための重
み付け係数ｗ１〜ｗ５が補間係数演算手段４に入力され
る。Note that the neural network 2 is input with partial data that is a local pattern of the primary image data Sorg for the entire original image and multiplies the above-mentioned five types of interpolation coefficients for each local data. The weighting coefficients w1 to w5 are input to the interpolation coefficient calculation means 4.

【０１１２】補間係数演算手段４は、ニューラルネット
ワーク２から入力された重み付け係数ｗ１〜ｗ５によ
り、補間係数記憶手段３に記憶された補間係数ｂ１から
ｂ５を下記の式（38）に基づいて線形結合する。The interpolation coefficient calculation means 4 linearly combines the interpolation coefficients b1 to b5 stored in the interpolation coefficient storage means 3 with the weighting coefficients w1 to w5 input from the neural network 2 based on the following equation (38). To do.

【０１１３】 ａij＝ｗ１・ｂ１＋ｗ２・ｂ２＋ｗ３・ｂ３＋ｗ４・ｂ４＋ｗ５・ｂ５ (38) なお、式（38）による補間係数の算出は、各補間係数ｂ
１〜ｂ５のそれぞれ対応する画素ごとに求められる。こ
の式（38）により求められた補間係数ａijが各補間画素
における補間係数となる。Aij = w1 * b1 + w2 * b2 + w3 * b3 + w4 * b4 + w5 * b5 (38) Note that the interpolation coefficient b is calculated by the equation (38).
It is obtained for each pixel corresponding to 1 to b5. The interpolation coefficient aij obtained by the equation (38) becomes the interpolation coefficient in each interpolation pixel.

【０１１４】そしてこのようにして算出された新たな補
間係数ａ_k-1 、ａ_k 、ａ_k+1 、ａ_k+2 は、補間演算手段
５に入力される。The new interpolation coefficients a _k-1 , a _k , a _{k + 1} and a _{k + 2} calculated in this way are input to the interpolation calculation means 5.

【０１１５】補間演算手段５は、補間係数演算手段４か
ら入力された補間係数ａ_k-1 、ａ_k、ａ_k+1 、ａ_k+2 と
画像データ記憶装置22から入力された原画像データＹ
_k-1 、Ｙ_k 、Ｙ_k+1 、Ｙ_k+2 とに基づいて、記憶された
式（５）の３次のスプライン補間関数演算式にしたがっ
て、補間点Ｘ_p の補間画像データＹ_p を算出する。The interpolation calculation means 5 is the interpolation coefficients a _k-1 , a _k , a _{k + 1} , a _{k + 2} input from the interpolation coefficient calculation means 4 and the original image data input from the image data storage device 22. Y
_{Based on k-1} , Y _k , Y _{k + 1} , and Y _{k + 2} , the interpolated image data Y _p of the interpolation point X _p is stored according to the stored third-order spline interpolation function calculation formula of the formula (5). To calculate.

【０１１６】このようにして得られたすべての補間点の
補間画像データＳ′は再生装置23に出力される。再生装
置23は入力された補間画像データＳ′に基づいた画像を
可視画像として再生する。この再生された可視画像は、
原画像の局所的なパターンに基づいて最適な補間係数に
重み付けがなされたものとなっている。すなわち、局所
的なパターンが平坦部である場合は、滑らかな補間画像
を得ることができるＢスプライン補間演算により求めら
れた補間係数ｂ１に対する重み付けが大きくされてお
り、また、局所的なパターンが縦方向に延びるエッジで
ある場合は縦線形横リプリケーションの補間係数ｂ２
が、局所的なパターンが横方向に延びるエッジである場
合は横線形縦リプリケーションの補間係数ｂ３が、局所
的なパターンが右斜め上方に延びるエッジである場合は
右斜め用補間係数ｂ４が、局所的なパターンが左斜め方
向に延びるエッジである場合は左斜め用補間係数ｂ５が
それぞれ重み付けが大きくされる。したがって、補間画
像の平坦部の鮮鋭度が強調されてノイズが目立ったり、
エッジ部がぼけたりすることがなくなるため、画像の局
所的な特徴に適した重み付けがなされた補間画像を得る
ことができる。The interpolated image data S ′ of all the interpolation points thus obtained are output to the reproducing device 23. The reproducing device 23 reproduces an image based on the input interpolation image data S'as a visible image. This reconstructed visible image is
The optimum interpolation coefficient is weighted based on the local pattern of the original image. That is, when the local pattern is a flat portion, the weighting for the interpolation coefficient b1 obtained by the B-spline interpolation calculation that can obtain a smooth interpolated image is large, and the local pattern is vertical. If the edge extends in the direction, the interpolation coefficient b2 of the vertical linear horizontal replication
However, if the local pattern is an edge extending in the horizontal direction, the interpolation coefficient b3 of the horizontal linear vertical replication is, and if the local pattern is an edge extending obliquely to the upper right, the interpolation coefficient for right diagonal b4 is the local When the general pattern is an edge extending in the left diagonal direction, the weighting of the left diagonal interpolation coefficient b5 is increased. Therefore, the sharpness of the flat part of the interpolated image is emphasized and noise is noticeable,
Since the edges are not blurred, it is possible to obtain an interpolated image that is weighted appropriately for the local features of the image.

【０１１７】なお、本発明の実施の形態の画像再生シス
テムで用いられる補間演算装置１は、画像データ記憶装
置22にあらかじめ記憶された１次画像データを用いるも
のについて説明したが、本発明の補間演算装置はこれに
限るものではなく、例えば図８に示すような画像読取装
置により読み取って得られた、画像を表す画像データを
用いるものであってもよい。Although the interpolation calculation device 1 used in the image reproduction system according to the embodiment of the present invention uses the primary image data stored in advance in the image data storage device 22, it has been described. The arithmetic device is not limited to this, and may use image data representing an image obtained by reading with an image reading device as shown in FIG. 8, for example.

【０１１８】すなわち、図８に示すように、放射線画像
読取装置は、例えばＸ線等の放射線が人体等の被写体を
介して照射されることによりこの被写体の透過放射線画
像情報を蓄積記録した蓄積性蛍光体シート10は、エンド
レスベルト等のシート搬送手段11により、副走査のため
に矢印Ｙ方向に搬送される。半導体レーザ等の励起光源
12から射出された励起光（読取光）としてのレーザビー
ム13は、高速回転する回転多面鏡14によって反射偏向さ
れ、通常ｆ・θレンズからなる走査レンズ18によって集
束され、ミラー19で反射して蓄積性蛍光体シート10上を
上記副走査方向Ｙと略直角な矢印Ｘ方向に主走査する。That is, as shown in FIG. 8, the radiation image reading apparatus accumulates and records transmission radiation image information of the subject by irradiating radiation such as X-rays through the subject such as a human body. The phosphor sheet 10 is conveyed in the arrow Y direction for sub scanning by the sheet conveying means 11 such as an endless belt. Excitation light source such as semiconductor laser
A laser beam 13 as excitation light (reading light) emitted from 12 is reflected and deflected by a rotating polygon mirror 14 that rotates at high speed, focused by a scanning lens 18 which is usually an f.theta. Lens, and reflected by a mirror 19. The stimulable phosphor sheet 10 is main-scanned in the direction of arrow X, which is substantially perpendicular to the sub-scanning direction Y.

【０１１９】こうしてレーザビーム13が照射されたシー
ト10の箇所からは、蓄積記録されている放射線画像情報
に応じた光量の輝尽発光光15が発散され、この輝尽発光
光15は集光体16によって集光され、光検出器としてのフ
ォトマルチプライヤー（光電子増倍管）17によって光電
的に検出される。In this way, from the portion of the sheet 10 irradiated with the laser beam 13, the stimulated emission light 15 having a light amount corresponding to the radiation image information stored and recorded is diverged, and the stimulated emission light 15 is collected. The light is condensed by 16 and photoelectrically detected by a photomultiplier (photomultiplier tube) 17 as a photodetector.

【０１２０】上記集光体16はアクリル板等の導光性材料
を成形して作られたものであり、直線状をなす入射端面
16ａが蓄積性蛍光体シート10上のビーム走査線に沿って
延びるように配され、円環状に形成された出射端面16ｂ
に上記フォトマルチプライヤー17の受光面が結合されて
いる。上記入射端面16ａから集光体16内に入射した輝尽
発光光15は、該集光体16の内部を全反射を繰り返して進
み、出射端面16ｂから出射してフォトマルチプライヤー
17に受光され、前記放射線画像情報を担持する輝尽発光
光15の光量がこのフォトマルチプライヤー17によって検
出される。The light collector 16 is formed by molding a light guide material such as an acrylic plate, and has a linear incident end surface.
The emission end face 16b is arranged so as to extend along the beam scanning line on the stimulable phosphor sheet 10 and is formed in an annular shape.
The light receiving surface of the photomultiplier 17 is connected to the photomultiplier 17. The stimulated emission light 15 entering the condenser 16 from the incident end face 16a travels through the interior of the condenser 16 by repeating total reflection, exits from the exit end face 16b, and exits from the photomultiplier.
The photomultiplier 17 detects the amount of photostimulated light 15 received by the photodetector 17 and carrying the radiation image information.

【０１２１】フォトマルチプライヤー17のアナログ出力
信号（画像信号）Ｓは対数増幅器20によって増幅され、
Ａ／Ｄ変換器21において所定の収録スケールファクター
でデジタル化される。こうして得られた、２次元画像を
担持するデジタルの原画像データは、補間演算装置１に
入力される。The analog output signal (image signal) S of the photomultiplier 17 is amplified by the logarithmic amplifier 20,
It is digitized by the A / D converter 21 with a predetermined recording scale factor. The digital original image data carrying the two-dimensional image thus obtained is input to the interpolation calculation device 1.

【０１２２】このように本発明の補間演算装置１に使用
される１次画像データは、画像データ記憶装置22にあら
かじめ記憶されたものであってもよいし、図８に示すよ
うな画像読取装置により読み取って得られたものであっ
てもよい。As described above, the primary image data used in the interpolation calculation device 1 of the present invention may be stored in the image data storage device 22 in advance, or an image reading device as shown in FIG. It may be one obtained by reading.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の画像データの補間演算方法を実施する
ための補間演算装置を内包する画像再生システムを示す
概略ブロック図FIG. 1 is a schematic block diagram showing an image reproduction system including an interpolation calculation device for performing an interpolation calculation method of image data according to the present invention.

【図２】等間隔の周期でサンプリングされた一方向に配
列されたサンプリング点（画素）の原画像データからCu
bic スプライン補間演算により補間画像データを求める
作用を説明するグラフ[FIG. 2] Cu from original image data of sampling points (pixels) arrayed in one direction sampled at equal intervals
bic Graph for explaining the effect of obtaining interpolated image data by spline interpolation calculation

【図３】縦線形横リプリケーション補間を説明するため
の図FIG. 3 is a diagram for explaining vertical linear horizontal replication interpolation.

【図４】横線形縦リプリケーション補間を説明するため
の図FIG. 4 is a diagram for explaining horizontal linear vertical replication interpolation.

【図５】右斜め用補間を説明するための図FIG. 5 is a diagram for explaining interpolation for right diagonal.

【図６】左斜め用補間を説明するための図FIG. 6 is a diagram for explaining left diagonal interpolation.

【図７】ニューラルネットワークを説明するための図FIG. 7 is a diagram for explaining a neural network.

【図８】放射線画像読取装置を示す図FIG. 8 is a diagram showing a radiation image reading device.

【図９】原画像データを構成する画素と補間画像データ
を構成する画素とを示す図FIG. 9 is a diagram showing pixels forming original image data and pixels forming interpolation image data.

【図１０】最近傍補間を説明するための図FIG. 10 is a diagram for explaining nearest neighbor interpolation.

【符号の説明】[Explanation of symbols]

１ 補間演算装置 ２ ニューラルネットワーク ３ 補間係数記憶手段 ４ 補間係数演算手段 ５ 補間演算手段 22 画像データ記憶装置 23 再生装置 Ｓorg １次画像データ（原画像データ） Ｓ′ ２次画像データ（補間画像データ） 1 Interpolation Calculation Device 2 Neural Network 3 Interpolation Coefficient Storage Means 4 Interpolation Coefficient Calculation Means 5 Interpolation Calculation Means 22 Image Data Storage Device 23 Playback Device Sorg Primary Image Data (Original Image Data) S ′ Secondary Image Data (Interpolated Image Data)

Claims (2)

【特許請求の範囲】[Claims] 【請求項１】 画像を表す原画素のそれぞれについての
画素値を表す多数の原画像データについて、得られる補
間画像の特性が互いに異なる前記各原画像データに対応
する複数の補間係数を求め、該各補間係数を所定の重み
付け係数により重み付け線形結合することにより新たな
補間係数を得、該新たな補間係数に基づいて補間演算を
行って、前記原画素とは間隔が異なる補間画素における
補間画像データを求める画像データの補間演算方法であ
って、 前記画像の局所的なパターンを入力とし、該局所的なパ
ターンに応じた前記重み付け係数を出力とするニューラ
ルネットワークに、前記画像の局所的なパターンを入力
して前記重み付け係数を得、該重み付け係数に基づいて
前記新たな補間係数を得ることを特徴とする画像データ
の補間演算方法。1. For a plurality of original image data representing pixel values of respective original pixels representing an image, a plurality of interpolation coefficients corresponding to the respective original image data having mutually different characteristics of the obtained interpolated image are obtained, A new interpolation coefficient is obtained by weighting and linearly combining the respective interpolation coefficients with a predetermined weighting coefficient, an interpolation operation is performed based on the new interpolation coefficient, and interpolation image data in an interpolation pixel having a different interval from the original pixel is obtained. Is a method of interpolating image data, wherein a local pattern of the image is input to a neural network that outputs the weighting coefficient according to the local pattern. Interpolation calculation of image data, characterized by inputting to obtain the weighting coefficient and obtaining the new interpolation coefficient based on the weighting coefficient Law. 【請求項２】 画像を表す原画素のそれぞれについての
画素値を表す多数の原画像データについて、得られる補
間画像の特性が互いに異なる前記各原画像データに対応
する複数の補間係数を求める補間係数演算手段と、該各
補間係数を所定の重み付け係数により重み付け線形結合
することにより新たな補間係数を得る補間係数演算手段
と、該新たな補間係数に基づいて補間演算を行って、前
記原画素とは間隔が異なる補間画素における補間画像デ
ータを求める補間演算手段とからなる画像データの補間
演算装置であって、 前記画像の局所的なパターンを入力とし、該局所的なパ
ターンに応じた前記重み付け係数を出力とするニューラ
ルネットワークをさらに備え、前記画像の局所的なパタ
ーンを入力して前記重み付け係数を得、該重み付け係数
に基づいて前記新たな補間係数を得ることを特徴とする
画像データの補間演算装置。2. An interpolation coefficient for obtaining a plurality of interpolation coefficients corresponding to the respective original image data having different characteristics of the obtained interpolated image for a large number of original image data representing pixel values of respective original pixels representing an image. A calculation means, an interpolation coefficient calculation means for obtaining a new interpolation coefficient by weighting and linearly combining the respective interpolation coefficients with a predetermined weighting coefficient, and an interpolation calculation based on the new interpolation coefficient, and the original pixel Is an image data interpolation calculation device comprising interpolation calculation means for obtaining interpolation image data in interpolation pixels having different intervals, wherein the local pattern of the image is input, and the weighting coefficient corresponding to the local pattern is input. Further comprising a neural network which outputs, a local pattern of the image is input to obtain the weighting coefficient, and the weighting coefficient Interpolating operation apparatus for an image data, characterized by obtaining the new interpolation coefficient based on.