JP7356218B2 - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP7356218B2 JP7356218B2 JP2018222691A JP2018222691A JP7356218B2 JP 7356218 B2 JP7356218 B2 JP 7356218B2 JP 2018222691 A JP2018222691 A JP 2018222691A JP 2018222691 A JP2018222691 A JP 2018222691A JP 7356218 B2 JP7356218 B2 JP 7356218B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sharpness
- distance
- information
- output device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 148
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000000694 effects Effects 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 21
- 238000005259 measurement Methods 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000740 bleeding effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、プリンタに出力した画像の立体感を効果的に制御する画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program, and more particularly to an image processing device, an image processing method, and a program that effectively control the stereoscopic effect of an image output to a printer, for example.
人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感、つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚しているのである。 Humans perceive what they see with their eyes three-dimensionally, and this perception is thought to be done by the brain based on binocular cues, monocular cues, motion parallax, etc. Binocular cues include retinal parallax, which is the difference in retinal images between both eyes. Furthermore, monocular clues include linear perspective, object size, texture gradient, shadow, atmospheric perspective, and blur effects. Using one or more of these cues, humans perceive three-dimensionality, that is, the depth, depth, and depth of ``things,'' as well as the context of ``things.''
またカメラなどで撮影され、表示、投影あるいは印刷された２次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。 Also, when looking at a two-dimensional image taken with a camera, displayed, projected, or printed, the three-dimensional effect of the image can be determined by the difference in blur between the in-focus area and the blurred area depending on the depth. I feel it. In other words, reproducing the in-focus (in-focus) and out-of-focus (out-of-focus) parts of the image is important for the three-dimensional effect.
一方、例えば、レーザ距離計等で、撮影地点から対象物までの実距離を測定する方法、２台のカメラの視差情報から距離を計測する方法など、一般的に撮影時に被写体を含むシーンの距離情報を取得する方法も提案され始めている。奥行き情報を利用した画像の高画質化手法としては、特許文献１に提案された技術がある。
On the other hand, methods that measure the actual distance from the shooting point to the object using a laser distance meter, etc., methods that measure the distance from parallax information from two cameras, etc. are generally used to measure the distance of the scene including the object when shooting. Methods for acquiring information are also beginning to be proposed. As a method for improving image quality using depth information, there is a technique proposed in
しかしながら上記従来例では、プリンタなどを通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、出力画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に表示画像の鮮鋭性が低下する。そのため、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現性が変化してしまい、人間が感じる画像の立体感が低下したりあるいは変化したりするという問題がある。 However, in the above conventional example, when an image is outputted through a printer, etc., the sharpness of the image may deteriorate due to bleeding of the recording medium or ink, or resolution conversion processing that scales the input image data to the recording medium size (print size). , the sharpness of the output image decreases. Similarly, the sharpness of displayed images on displays and projectors also deteriorates. As a result, the reproducibility of the in-focus (in-focus) and out-of-focus (out-of-focus) parts of the image changes, reducing the three-dimensional effect that humans perceive in the image. Or there is the problem of things changing.
特許文献１によれば、画像の各位置の奥行きを画像から推定して算出し、奥行きと画像処理方法とを対応付けして各位置の画像処理方法を効果的に適宜選択し、立体感の低下を防止しつつ高解像度化を図る処理を実行する。しかしながら特許文献１で用いる奥行き情報は、画像自体から推定算出した情報であるため、画像の特性や構図によっては正しく奥行を求めることができない場合がある。その結果、対象画像に適した処理を施すことができず、画像の立体感に違和感が生じることがある。
According to
また、特許文献１では、入力画像自体の立体感は制御しているが、画像再生時の出力装置による鮮鋭性に影響する特性が考慮されていない。そのために、画像本来の立体感に対し、プリンタやディスプレイ等の出力装置で出力した画像において適した処理を施すことができずに立体感が低下あるいは変化する場合があった。
Further, in
以上のように従来技術では、再生出力画像においては、人間が感じる画像の立体感が低下したりあるいは変化したりするという問題を解決するには至っていない。 As described above, the conventional techniques have not yet been able to solve the problem that the three-dimensional effect perceived by humans deteriorates or changes in reproduced output images.
本発明は上記従来例に鑑みてなされたもので、出力画像においても人間が感じる画像の立体感を適切に表現できるよう処理可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above-mentioned conventional examples, and an object of the present invention is to provide an image processing device, an image processing method, and a program capable of appropriately expressing the stereoscopic effect that humans perceive in output images. shall be.
上記目的を達成するために本発明の画像処理装置は次のような構成からなる。 In order to achieve the above object, an image processing apparatus of the present invention has the following configuration.
即ち、写真画像の画像データと、前記写真画像中の合焦面からの距離に相当する情報と、出力装置が画像を出力する際の合焦面からの距離に対するコントラスト特性に基づいて設定された鮮鋭性制御量と、を取得する取得手段と、前記取得手段により取得された前記情報と前記鮮鋭性制御量に基づいて、前記出力装置から出力される画像の鮮鋭性を向上させるための前記画像データに対する鮮鋭性制御処理を行う鮮鋭性制御手段と、を有し、前記コントラスト特性は、前記写真画像において、前記情報が示す距離が合焦していることを示す領域における前記出力装置による鮮鋭性の変化の度合いは、前記情報が示す距離が合焦していないことを示す領域における前記出力装置による鮮鋭性の変化の度合いよりも大きく、前記鮮鋭性制御手段による鮮鋭性制御処理は、前記情報に対応する合焦面からの距離が第１の距離である場合の前記鮮鋭性制御量が、前記情報に対応する合焦面からの距離が前記第１の距離よりも大きい第２の距離である場合の前記鮮鋭性制御量よりも大きいことを特徴とする。 That is, the contrast characteristics are set based on the image data of the photographic image, information corresponding to the distance from the focal plane in the photographic image, and contrast characteristics with respect to the distance from the focal plane when the output device outputs the image. an acquisition means for acquiring a sharpness control amount, and an image for improving the sharpness of an image output from the output device based on the information acquired by the acquisition means and the sharpness control amount. sharpness control means for performing sharpness control processing on data, the contrast characteristic being a sharpness control unit that performs sharpness control processing on data, and the contrast characteristic is defined as sharpness by the output device in an area in the photographic image where the distance indicated by the information is in focus. The degree of change in sharpness is greater than the degree of change in sharpness by the output device in the area where the distance indicated by the information is out of focus, and the sharpness control processing by the sharpness control means is performed based on the information The sharpness control amount when the distance from the focusing plane corresponding to the information is a first distance is a second distance from the focusing plane corresponding to the information, which is larger than the first distance. The sharpness control amount is larger than the sharpness control amount in a certain case.
また本発明を別の側面から見れば、コンピュータに上記構成の画像処理装置の各手段として機能させるためのプログラムを備える。 Moreover, looking at the present invention from another aspect, a computer is provided with a program for causing the computer to function as each means of the image processing apparatus configured as described above.
さらに本発明を別の側面から見れば、写真画像の画像データと、前記写真画像中の合焦面からの距離に相当する情報と、出力装置が画像を出力する際の合焦面からの距離に対するコントラスト特性に基づいて設定された鮮鋭性制御量と、を取得する取得工程と、前記取得工程において取得された前記情報と前記鮮鋭性制御量に基づいて、前記出力装置から出力される画像の鮮鋭性を向上させるための前記画像データに対する鮮鋭性制御処理を行う鮮鋭性制御工程と、を有し、前記コントラスト特性は、前記写真画像において、前記情報が示す距離が合焦していることを示す領域における前記出力装置による鮮鋭性の変化の度合いは、前記情報が示す距離が合焦していないことを示す領域における前記出力装置による鮮鋭性の変化の度合いよりも大きく、前記鮮鋭性制御工程における鮮鋭性制御処理は、前記情報に対応する合焦面からの距離が第１の距離である場合の前記鮮鋭性制御量が、前記情報に対応する合焦面からの距離が前記第１の距離よりも大きい第２の距離である場合の前記鮮鋭性制御量よりも大きいことを特徴とする画像処理方法を備える。 Furthermore, looking at the present invention from another aspect, image data of a photographic image, information corresponding to the distance from the focal plane in the photographic image, and distance from the focal plane when the output device outputs the image are provided. a sharpness control amount set based on a contrast characteristic of the image; a sharpness control step of performing sharpness control processing on the image data to improve sharpness, and the contrast characteristic indicates that the distance indicated by the information is in focus in the photographic image. The degree of change in sharpness caused by the output device in the area indicated by the information is greater than the degree of change in sharpness caused by the output device in the area indicating that the distance indicated by the information is not in focus, and the sharpness control step In the sharpness control process, the sharpness control amount when the distance from the focusing plane corresponding to the information is the first distance is set to the sharpness control amount when the distance from the focusing plane corresponding to the information is the first distance. The image processing method is characterized in that the sharpness control amount is larger than the sharpness control amount when the second distance is larger than the distance.
本発明によれば、被写体の撮像時に合焦面からの距離に相当する情報に応じて、出力装置の鮮鋭性に影響する出力特性を考慮した画像処理条件で画像処理するので、出力画像においても立体感を適切に表現できるという効果がある。 According to the present invention, image processing is performed using image processing conditions that take into account the output characteristics that affect the sharpness of the output device, according to information corresponding to the distance from the focal plane when imaging a subject, so that the output image can also be processed. This has the effect of appropriately expressing a three-dimensional effect.
以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、既に説明した部分には同一符号を付し重複説明を省略する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described in more detail and specifically below with reference to the accompanying drawings. Note that the same reference numerals are given to the parts that have already been explained, and redundant explanation will be omitted. However, the components described in this embodiment are merely examples, and the scope of the present invention is not intended to be limited thereto.
なお、この明細書において、「記録」（「プリント」「印刷」という場合もある）とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。また人間が視覚で知覚し得るように顕在化したものであるか否かを問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。 In this specification, "recording" (also sometimes referred to as "printing") refers not only to the formation of meaningful information such as characters and figures, but also to any meaningful or non-significant information. It also broadly refers to the formation of images, patterns, patterns, etc. on recording media, or the processing of media, regardless of whether they are manifest in a way that humans can perceive visually. .
また、「記録媒体」（「シート」という場合もある）とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。 In addition, "recording media" (sometimes referred to as "sheets") refers not only to paper used in general recording devices, but also to a wide variety of materials such as cloth, plastic films, metal plates, glass, ceramics, wood, leather, etc. , shall also represent ink receptive.
さらに、「インク」（「液体」と言う場合もある）とは、上記「記録（プリント）」の定義と同様広く解釈されるべきものである。従って、記録媒体上に付与されることによって、画像、模様、パターン等の形成または記録媒体の加工、或いはインクの処理（例えば記録媒体に付与されるインク中の色剤の凝固または不溶化）に供され得る液体を表すものとする。 Furthermore, "ink" (sometimes referred to as "liquid") should be broadly interpreted as in the definition of "recording (print)" above. Therefore, by being applied onto a recording medium, it can be used to form images, patterns, patterns, etc., process the recording medium, or treat ink (for example, solidify or insolubilize the colorant in the ink applied to the recording medium). represents a liquid that can be
なお、以下の説明では、画像を出力する出力装置の一例としてインクジェットプリンタとして説明するが、電子写真方式を採用したレーザビームプリンタを用いても良い。 In the following description, an inkjet printer will be described as an example of an output device that outputs an image, but a laser beam printer employing an electrophotographic method may also be used.
＜画像処理システムの概要（図１～図４）＞
図１は本発明の代表的な実施例である画像処理装置を用いた画像処理システム（以下、システム）の全体構成を示すブロック図である。図１に示されているように、このシステムは、パーソナルコンピュータ装置（ＰＣ）１０１（以下、ＰＣ）と出力装置１０２とから構成されている。そして、ＰＣ１０１と出力装置１０２とは有線／無線ネットワークやＵＳＢまたはローカルバスなどのインタフェースで接続されている。
<Overview of the image processing system (Figures 1 to 4)>
FIG. 1 is a block diagram showing the overall configuration of an image processing system (hereinafter referred to as system) using an image processing apparatus that is a typical embodiment of the present invention. As shown in FIG. 1, this system includes a personal computer (PC) 101 (hereinafter referred to as PC) and an
ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報および画像データの転送などを行う。記憶装置１０５にはＯＳ、システムプログラムや各種アプリケーションおよび各種処理に必要なパラメータデータを記憶している。記憶装置１０５は、ハードディスク（ＨＤ）、半導体ディスク（ＳＳＤ）やフラッシュＲＯＭなどの書き換え可能な記憶媒体で構成される。ＣＰＵ１０４は、記憶装置１０５に格納されたソフトウェアを実行するにあたりＲＡＭなどの作業メモリ１０７を用いて処理を実行する。ユーザインタフェースとなる操作部（以下、ＵＩ）１０６は、上記処理の実行に関して、ユーザからの入力やユーザに対する表示に関する処理を行うために、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記憶媒体とのデータの入出力を行う。また、デジタルカメラなどの撮像装置（不図示）をデータ入出力装置１０８やデータ転送部１０９へ直接接続して外部記憶媒体を介さずにデータの受渡しを行ってもよい。
The
出力装置１０２は、データ転送部１０９、プリンタ制御部１１２、後述する画像処理部１１０、印刷部１１１から構成される。出力装置１０２にＰＣ１０１から印刷データが送信される。印刷データは、撮像装置で被写体を撮像することで得られる写真データの画像データを含む。印刷データは、その画像データと画像データに対応した撮影時の合焦面からの距離に相当する情報、記録媒体の固有データである画像処理パラメータ、プリンタ制御データ、ＵＩ上で選択した印刷品位や記録媒体等の印刷情報データで構成される。後述する撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。
The
ここでは、デジタルカメラ等の撮像装置で生成されたデータとして説明するが、それに限らず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば入力画像データのボケ量を解析した結果から生成されたデータおよびその他撮影時のデータを併用したデータでもよい。入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたＰＣ１０１または出力装置１０２で生成されてもよい。
Although data generated by an imaging device such as a digital camera will be described here, the data is not limited thereto, and may be data generated from information obtained by actually measuring distance. Alternatively, the data may be a combination of data generated from the result of analyzing the amount of blur in input image data and other data at the time of imaging. Information corresponding to the input image data and the distance from the focal plane may be generated within the imaging device, or may be generated by the
また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で合焦面からの距離に相当する情報を生成してもよい。または、撮像装置はＰＣ１０１に接続され、ＰＣ１０１を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置１０２で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。
Additionally, information for generating information corresponding to the distance from the focal plane is acquired from the imaging device, and information corresponding to the distance from the focal plane is generated within the
データ転送部１０９は、ＰＣ１０１から送信された印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータを取り出して画像処理部１１０に転送し、プリンタ制御データをプリンタ制御部１１２に転送する。ここでの入力画像データは、ＰＣ１０１内で記憶装置１０５にプログラムとして記憶されている解像度変換処理によってユーザ設定した記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置１０２内の画像処理部１１０内で同様に処理されてもよい。また、このシステムでは、画像処理部１１０は出力装置１０２内にあるとしているが、これをＰＣ１０１内に構成もよい。
The
また、画像処理パラメータやプリンタ制御データはＰＣ１０１中の記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている。しかしながら、これらが、印刷データ内の印刷情報データをもとに選択され、画像処理部１１０とプリンタ制御部１１２に転送される構成でもよい。プリンタ制御部１１２はプリンタ制御データに従って印刷部１１１の動作を制御する。印刷部１１１では、インクジェット方式に従った記録ヘッドからインクと吐出して記録媒体に画像を形成して印刷を行う構成としている。
Further, image processing parameters and printer control data are stored in a
図２は被写体の撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。 FIG. 2 is a diagram for explaining the relationship between the in-focus plane, the amount of image shift, and the amount of defocus when photographing a subject.
図２において、合焦面２０１は撮像装置において像面（撮像面）２０３と平行でピントの合う平面のことである。また、デフォーカス量２０５は、像面２０３とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。デフォーカス量２０５は、従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。
In FIG. 2, a focusing
例えば、特開２００８－１５７５４号公報では、図２に示す画像の像ずれ量（視差量）２０６からデフォーカス量２０５を算出する方法が開示されている。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。
For example, Japanese Patent Laid-Open No. 2008-15754 discloses a method of calculating a
さらに算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量２０５を算出する。また、特開２０１３－２５３９６４号公報では、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式でデフォーカス量を算出する方法が開示されている。ＤＦＤ方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。
Furthermore, with respect to the calculated
次に合焦面と被写体との距離を算出する方法について説明する。 Next, a method for calculating the distance between the focal plane and the subject will be explained.
図３は合焦面と被写体とレンズと像面との関係を示す図である。 FIG. 3 is a diagram showing the relationship among a focusing plane, a subject, a lens, and an image plane.
図３において、レンズ２０２と合焦面２０１の距離（ＯＢＪ（０））と、レンズ２０２と像面２０３の距離（Ｓ（０））と、被写体３００とレンズ２０２の距離（ＯＢＪ（ｄｅｆ））と、合焦面２０１と被写体３００の距離Ｌと間にはレンズの公式が成立する。言い換えると、以下の式（１）、（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は式（３）で算出することが可能である。即ち、
１／ＯＢＪ（０）＋１／Ｓ（０）＝１／ｆ……（１）
１／ＯＢＪ（ｄｅｆ）＋１／｛Ｓ（０）＋ｄｅｆ｝＝１／ｆ……（２）
ＯＢＪ（ｄｅｆ）＝
｛（Ｓ（０）＋ｄｅｆ）＊ｆ｝／｛（Ｓ（０）－ｄｅｆ）＊ｆ｝……（３）
である。ここで、ＯＢＪ（０）は合焦物体距離、Ｓ（０）は撮像面距離、ＯＢＪ（ｄｅｆ）は物体距離という。従って、式（３）で算出した物体距離ＯＢＪ（ｄｅｆ）を合焦物体距離ＯＢＪ（０）から引くことで、合焦面２０１から被写体３００までの距離Ｌを算出することが可能である。
In FIG. 3, the distance between the
1/OBJ(0)+1/S(0)=1/f...(1)
1/OBJ(def)+1/{S(0)+def}=1/f...(2)
OBJ(def)=
{(S(0)+def)*f}/{(S(0)-def)*f}...(3)
It is. Here, OBJ(0) is a focused object distance, S(0) is an imaging plane distance, and OBJ(def) is an object distance. Therefore, by subtracting the object distance OBJ(def) calculated by equation (3) from the focused object distance OBJ(0), it is possible to calculate the distance L from the focusing
上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面から被写体までの距離Ｌのいずれでもよい。
The above-mentioned information corresponding to the distance from the focusing plane is information proportional to the distance from the focusing plane. Therefore, the information corresponding to the distance from the in-focus plane may be any of the above-mentioned
次にデフォーカスマップについて説明する。 Next, the defocus map will be explained.
図４はデフォーカスマップを説明する図である。 FIG. 4 is a diagram illustrating a defocus map.
デフォーカスマップとは上述のデフォーカス量を入力画像上の複数個所でマップ化したものをいい、ここでは、図４（ａ）に示すような２つの立方体５０１、５０２を撮影して得られた画像データの各画素に対応するデフォーカス量の情報を保持している。また、図４（ｂ）は、デフォーカス量とここでの画像処理に使用する各領域を説明するための図である。 A defocus map is a map of the above-mentioned defocus amount at multiple locations on an input image. It holds information on the amount of defocus corresponding to each pixel of image data. Further, FIG. 4(b) is a diagram for explaining the defocus amount and each area used for image processing here.
図４（ｂ）において、デフォーカス量０が撮影時の合焦面に相当するデフォーカス量であり、これは、図４（ａ）における最も黒い部分（領域５０３）が対応する。デフォーカス量０から離れるにつれて、図４（ａ）では白くなっていく。図４（ａ）に示すデフォーカスマップにおいて、デフォーカス量０の領域が領域５０３であり、ピントが合っている（合焦面）画像領域である。これを、図５（ｂ）の５０３でも示すように「合焦領域」という。
In FIG. 4(b), the
領域５０３以外の領域をここでは、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域５０４とする。また、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５以外の領域を、ここでは許容合焦領域５０５ではない領域として非許容合焦領域５０６とする。許容合焦領域５０５は、例えば、被写界深度と合焦面からの距離に相当する情報からその範囲を定義する。ピントが合う範囲である被写界深度は撮影時のレンズや絞り等の情報から決定されるので合焦面からの距離に相当する情報における被写界深度を許容合焦領域と定義することで、入力画像上の許容合焦領域はピントが合っているように見える。一方、入力画像の非許容合焦領域はボケているため、許容合焦領域と非許容合焦領域の鮮鋭性の差でも画像の立体感を感じる。 Here, an area other than the area 503 is defined as an out-of-focus area 504 as an area that does not correspond to the in-focus plane on the defocus map. Further, an area that is allowed to be in focus is defined as an allowable focusing area 505. An area other than the allowable focus area 505 is defined as a non-allowable focus area 506 here. The range of the allowable focus area 505 is defined based on information corresponding to the depth of field and the distance from the focus plane, for example. The depth of field, which is the range in focus, is determined from information such as the lens and aperture at the time of shooting, so by defining the depth of field based on the information corresponding to the distance from the focusing plane as the allowable focusing area. , the allowable focus area on the input image appears to be in focus. On the other hand, since the non-acceptable focus area of the input image is blurred, the three-dimensional effect of the image can be perceived even by the difference in sharpness between the allowable focus area and the non-acceptable focus area.
また、許容合焦領域を被験者実験によって任意に定義してもよい。鮮鋭性や立体感は人や環境によって感じ方が異なるため、ピントが合っていると許容する領域も人や環境によってその範囲はばらつくため、決められた条件下で被験者実験を実施し合焦面からの距離に相当する情報と許容合焦領域の関係を定義することができる。定義方法については後述するが、出力や表示によって入力画像の鮮鋭性が変化あるいは低下しない条件、あるいは出力装置の鮮鋭性に影響する出力特性が得られている状況で被験者実験を実施することがより好ましい。 Further, the allowable focusing region may be arbitrarily defined by subject experiment. Sharpness and three-dimensionality are perceived differently depending on the person and the environment, so the range of acceptable in-focus areas also varies depending on the person and the environment. It is possible to define the relationship between information corresponding to the distance from the object and the allowable focusing area. The definition method will be explained later, but it is better to conduct experiments with subjects under conditions where the sharpness of the input image does not change or deteriorate due to output or display, or under conditions where output characteristics that affect the sharpness of the output device are obtained. preferable.
図４（ｂ）では、横軸をデフォーカス量としたが、合焦面からの距離に相当する情報である、上述の像ずれ量や合焦面からの距離の情報でもよい。なお、図４（ｂ）において、ｄ０はデフォーカス量が０、つまり、合焦領域を示しており、ｄｘは非許容合焦領域におけるデフォーカス量を示している。 In FIG. 4(b), the horizontal axis represents the defocus amount, but it may also be information on the above-mentioned image shift amount or distance from the focal plane, which is information equivalent to the distance from the focal plane. Note that in FIG. 4B, d0 indicates a defocus amount of 0, that is, a focus area, and dx indicates a defocus amount in an unacceptable focus area.
次に、以上の構成の画像処理システムにおいて、立体感をもたせた画像を記録媒体に印刷するための画像処理について説明する。 Next, image processing for printing an image with a three-dimensional effect on a recording medium in the image processing system having the above configuration will be described.
＜画像処理の概要（図５～図６）＞
図５は画像処理部１１０の構成を示すブロック図である。
<Overview of image processing (Figures 5 to 6)>
FIG. 5 is a block diagram showing the configuration of the
図５に示すように、画像処理部１１０は、立体感制御部４０１と出力画像生成部４０２とから構成される。立体感制御部４０１は、ＰＣ１０１から送信された画像データとデフォーカスマップと、ＰＣ１０１又は出力装置１０２に格納されている画像処理条件とを入力して画像に立体感を与える画像処理を実行する。また、出力画像生成部４０２では、立体感制御部４０１から出力される画像データ（ＲＧＢ）に基づいて、インクジェットプリンタの記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。
As shown in FIG. 5, the
図６は立体感をもたせるための画像処理を示すフローチャートである。 FIG. 6 is a flowchart showing image processing for giving a three-dimensional effect.
まず、ステップＳ６０１、Ｓ６０２では、画像処理部１１０は、画像データと被写体撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップとをそれぞれ、入力する。さらに、ステップＳ６０３では、立体感制御部４０１は、記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている出力装置１０２の出力特性に基づいて定められた画像処理条件を入力する。ここでは、画像処理条件は印刷条件毎に記憶装置内に保持されており、上述の印刷情報データに応じて画像処理条件が選択され、立体感制御部４０１に入力されるものとする。
First, in steps S601 and S602, the
ステップＳ６０４では、入力画像データとデフォーカスマップ、出力装置１０２の出力特性に基づいて定められた画像処理条件によって、画像の立体感を制御する。なお、立体感制御部４０１における処理の詳細と、画像処理条件の詳細については後述する。
In step S604, the three-dimensional effect of the image is controlled using image processing conditions determined based on the input image data, the defocus map, and the output characteristics of the
次に、ステップＳ６０５では、出力画像生成部４０２は、立体感制御部４０１から出力される画像データ（ＲＧＢ）に対して、インクジェット記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。生成処理はデバイス非依存のＲＧＢデータをデバイス依存のＲＧＢデータに変換する色変換処理、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけるよう階調補正を行う階調補正処理を含む。さらに、インク色データをインクドットのＯＮ／ＯＦＦの情報である中間調処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等が実行される。いずれもインクジェットプリンタにおいては一般的な処理であり、この実施例の根幹に関わる部分ではないため、詳細な説明は割愛する。
Next, in step S605, the output
最後に、ステップＳ６０６では、出力画像生成部４０２で生成された出力データを印刷部１１１に転送し、その出力データに基づいて記録媒体上に画像を記録する。
Finally, in step S606, the output data generated by the output
＜出力装置における立体感＞
ここでは、出力装置１０２の鮮鋭性に影響する出力特性と立体感の制御について説明する。
<3D effect in output device>
Here, control of the output characteristics and stereoscopic effect that affect the sharpness of the
人間は、カメラなどで撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を感じている。 When humans look at a two-dimensional image taken with a camera, etc., they distinguish between an allowable in-focus area that includes the in-focus area, and an unfocused area that is out of focus (out of focus). The sense of depth and three-dimensionality of an image is perceived by the difference in sharpness of the allowable focus area.
一方、ここで述べているプリンタなどの出力装置を通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像においては画像の鮮鋭性が低下する。 On the other hand, if an image is output through an output device such as the printer mentioned here, for example, the sharpness of the image may deteriorate due to bleeding of the recording medium or ink, or the input image data may be scaled to the recording medium size (print size). The resolution conversion process reduces the sharpness of the image. Similarly, the sharpness of the output image of a display or a projector also decreases.
図１３はコントラストと空間周波数（サイクル／度）との関係を示す図である。 FIG. 13 is a diagram showing the relationship between contrast and spatial frequency (cycles/degree).
図１３（ａ）は、デフォーカス量が０（後述する図７でのｄ０）である合焦領域の入力特性を実線で、出力特性を破線で示している。同様に、図１３（ｂ）は、特定のデフォーカス量（後述する図７のｄｘ）の非合焦領域の入力特性を実線で、出力特性を破線で示している。後述する図７では解像度変換処理として拡大処理を行った例を示しているが、図１３では説明をわかり易くするため解像度変換処理を等倍処理としている。 In FIG. 13A, the input characteristic of a focusing area where the amount of defocus is 0 (d0 in FIG. 7, which will be described later) is shown by a solid line, and the output characteristic is shown by a broken line. Similarly, FIG. 13(b) shows the input characteristic of the out-of-focus region of a specific defocus amount (dx in FIG. 7, which will be described later) with a solid line, and the output characteristic with a broken line. Although FIG. 7, which will be described later, shows an example in which an enlargement process is performed as the resolution conversion process, in FIG. 13, the resolution conversion process is a same-size process to make the explanation easier to understand.
図１３に示すように、出力装置の出力特性による入力画像の鮮鋭性の変化は、入力データとして鮮鋭性の高い（ピントが合っている）許容合焦領域では大きく変化し、入力データとして鮮鋭性の低い（ボケている）非許容合焦領域では殆ど変化しない。よって、各領域で鮮鋭性の変化の度合いが異なる。より詳細には、デフォーカス量毎に鮮鋭性の低下特性が異なることになる。そのため、入力画像に立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像で維持されない。 As shown in Figure 13, changes in the sharpness of the input image due to the output characteristics of the output device vary greatly in the allowable focus area where the input data has high sharpness (in focus); There is almost no change in the non-acceptable focusing region where the value is low (blurred). Therefore, the degree of change in sharpness differs in each region. More specifically, the sharpness reduction characteristics differ depending on the amount of defocus. Therefore, the relationship between the sharpness of the allowable focus area and the non-allowable focus area, which affected the three-dimensional effect of the input image, is not maintained in the output image.
図７はコントラストと空間周波数（サイクル／度）との関係を示す図である。図７において、実線ｄ０はデフォーカス量が０、つまり、合焦領域におけるコントラストを示しており、点線ｄｘはデフォーカス量がｄｘ、つまり、非許容合焦領域におけるコントラストを示している。 FIG. 7 is a diagram showing the relationship between contrast and spatial frequency (cycles/degree). In FIG. 7, the solid line d0 indicates the contrast in the focus area where the defocus amount is 0, that is, the contrast in the in-focus area, and the dotted line dx indicates the contrast in the non-permissible focus area where the defocus amount is dx.
なお、図７では、説明を簡略にするため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性が同じ周波数にピークを持つ画像として扱う。ここでは、入力画像を記録媒体サイズに変倍するために拡大処理を行ってプリンタに出力することとする。図７に示す出力特性は、出力装置に起因する鮮鋭性の劣化要因が反映された出力特性であり、鮮鋭性の劣化要因は前述したように解像度変換処理や記録媒体やインクの滲み等である。また、ここでは、解像度変換処理として拡大処理を例に挙げているが、解像度変換処理は等倍処理・縮小処理でも問題ない。 In addition, in FIG. 7, in order to simplify the explanation, the spatial frequency characteristics of the image in the in-focus area and the spatial frequency characteristics of the image corresponding to a specific amount of defocus included in the out-of-focus area have a peak at the same frequency. Treat as an image. Here, in order to scale the input image to the size of the recording medium, enlargement processing is performed and the image is output to the printer. The output characteristics shown in FIG. 7 are output characteristics that reflect sharpness deterioration factors caused by the output device, and sharpness deterioration factors include resolution conversion processing, recording medium, ink bleeding, etc. as described above. . Further, here, enlargement processing is taken as an example of the resolution conversion processing, but the resolution conversion processing may be same size processing or reduction processing without any problems.
ボケによる立体感がある入力画像では、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が図７（ａ）に示す関係となる。この入力画像を拡大すると図７（ｂ）に示すようにコントラスト値Ｃ１とＣ２は、Ｃ１’とＣ２’に変化する。 In an input image that has a three-dimensional effect due to blur, the contrast value C1 indicating the sharpness of the in-focus area of the input image data at a specific spatial frequency and the contrast value C2 indicating the sharpness of the out-of-focus area are as shown in FIG. 7(a). The relationship is as shown below. When this input image is enlarged, the contrast values C1 and C2 change to C1' and C2' as shown in FIG. 7(b).
図７（ａ）と図７（ｂ）から明らかなように、出力装置１０２の出力特性によって入力画像の鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。そのため、立体感に影響する鮮鋭性の差７０２（コントラスト値Ｃ１’とＣ２’の差）が、入力画像における鮮鋭性の差７０１（コントラスト値Ｃ１とＣ２の差）より小さくなり、適切な立体感が得られない出力画像となる。従って、前述のデフォーカス量に相当する画像のボケの状態と出力装置１０２の鮮鋭性に影響する出力特性に基づいて、適切に鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
As is clear from FIGS. 7A and 7B, the amount of change in sharpness of the input image differs between the in-focus area and the out-of-focus area depending on the output characteristics of the
後述する画像出力条件に設定される出力装置１０２の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を適切に制御した出力画像では、合焦領域と非合焦領域のコントラスト値の関係は図７（ｃ）となる。図７（ｃ）で示すＣ１”は合焦領域のコントラスト値、Ｃ２”は非合焦領域のコントラスト値である。
In an output image in which the sharpness of the image is appropriately controlled using the relationship between the defocus amount and the stereoscopic effect control amount based on the output characteristics of the
図７（ｃ）に示すように、画像出力条件に基づいて立体感制御処理を実行した出力画像では、処理をしない場合の鮮鋭性の差７０２（コントラスト値Ｃ１’とＣ２’の差）に対して、鮮鋭性の差７０３（コントラスト値Ｃ１”とＣ２”の差）が大きくなる。 As shown in FIG. 7(c), in the output image after performing stereoscopic effect control processing based on the image output conditions, the sharpness difference 702 (difference between contrast values C1' and C2') when no processing is performed is As a result, the sharpness difference 703 (difference between contrast values C1'' and C2'') increases.
これにより、入力画像における鮮鋭性の差７０１（コントラスト値Ｃ１とＣ２の差７０１）に近くなっているため、適切な立体感を得ることができる。
As a result, the sharpness difference 701 (
図７では、説明を簡略にするため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量に対応する画像の２点に対するコントラストを比較した。前述の関係は、合焦領域と非許容合焦領域の別のデフォーカス量に対応する画像についても成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量に対応する２点においても前述の関係は成立する。 In FIG. 7, in order to simplify the explanation, the spatial frequency of the image in the in-focus area and the contrast at two points in the image corresponding to a specific amount of defocus included in the out-of-focus area are compared. The above relationship also holds true for images corresponding to different defocus amounts in the in-focus area and non-permissible in-focus area. Furthermore, the above-mentioned relationship also holds true for two points: an image corresponding to a specific amount of defocus included in the allowable focus area and an image corresponding to a specific amount of defocus included in the non-allowable focus area.
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置１０２の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。
Although the contrast value has been discussed as an image characteristic that affects the sharpness of the image, the change in the sharpness of the image in the in-focus area and the out-of-focus area due to the output characteristics of the
＜立体感制御処理（図８～図９）＞
ここでは、立体感制御部４０１が実行する立体感制御処理について説明する。
<Stereoscopic effect control processing (Figures 8 to 9)>
Here, the stereoscopic effect control processing executed by the stereoscopic
立体感制御部４０１では、画像処理条件に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件には各デフォーカス量に対する立体感制御量が設定されている。
The stereoscopic
図８は画像処理条件に設定されているデフォーカス量と立体感制御量の関係を示す図である。なお、画像処理条件の作成方法については後述する。 FIG. 8 is a diagram showing the relationship between the defocus amount and the stereoscopic effect control amount set in the image processing conditions. Note that a method for creating image processing conditions will be described later.
立体感制御部４０１は、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御量を適用してシャープネス処理を行う。シャープネス処理では、例えば、Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタ（式（４））やアンシャープマスクを用いる。式（５）に式（４）に示すＬａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタを用いた際の入力画像データの輝度情報の変換式を示す。即ち、
ｈ（ｘ，ｙ）＝（ｘ2+ｙ2－２σ2）／（２πσ2 ）・
ｅｘｐ［－（ｘ2＋ｙ2）／（２σ2 ）］……（４）
Ｏｕｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）－β×ｈ（ｘ，ｙ）×Ｉ（ｘ，ｙ） ……（５）
である。ここで、Ｏｕｔ（ｘ，ｙ）は立体感制御処理後の画像データ、βは画像処理条件に設定されるデフォーカス量に対する立体感制御量である。
The stereoscopic
h(x,y)=(x 2 +y 2 -2σ 2 )/(2πσ 2 )・
exp[-(x 2 +y 2 )/(2σ 2 )]...(4)
Out (x, y) = I (x, y) - β x h (x, y) x I (x, y) ... (5)
It is. Here, Out(x, y) is the image data after the stereoscopic effect control processing, and β is the stereoscopic effect control amount for the defocus amount set in the image processing conditions.
図８において、デフォーカス量ｄ＝０でのβ＝β１は入力画像の合焦領域に対する制御量を示す。また、デフォーカス量ｄ１は図４（ｂ）に示す許容合焦領域と非許容合焦領域の境界の値である。さらに、デフォーカス量ｄ２はデフォーカスマップに含まれる最大のデフォーカス量である。 In FIG. 8, β=β1 when the defocus amount d=0 indicates the control amount for the in-focus area of the input image. Further, the defocus amount d1 is a value at the boundary between the permissible focusing area and the non-permissible focusing area shown in FIG. 4(b). Further, the defocus amount d2 is the maximum defocus amount included in the defocus map.
なお、図８では立体感制御量を示しているが、図１３に示したように、デフォーカス量ｄ＝０である合焦領域では、出力装置での出力による鮮鋭度の変化が大きいため、立体感制御量は大きな値をとる。一方で、デフォーカス量がｄ１より大きな値をとる非合焦領域では、鮮鋭度の変化が合焦領域と比較して小さいため、立体感制御量も合焦領域と比較して小さい値をとる。そのため、出力画像において、出力装置１０２の出力特性を考慮した適切な立体感を得るために、図８（ａ）～図８（ｃ）に示すように、入力画像内の合焦領域の画素に対する立体感制御量が最も大きくなるように画像処理条件を設定する。さらに、非合焦領域の立体感制御量はデフォーカス量が大きくなるほど制御量が小さくなるように、つまり単調減少となるように設定するとよい。
Although FIG. 8 shows the stereoscopic effect control amount, as shown in FIG. 13, in the in-focus area where the defocus amount d=0, the sharpness changes greatly due to the output from the output device. The stereoscopic effect control amount takes a large value. On the other hand, in an out-of-focus area where the defocus amount is larger than d1, the change in sharpness is smaller than in the in-focus area, so the stereoscopic effect control amount also takes a smaller value compared to the in-focus area. . Therefore, in order to obtain an appropriate three-dimensional effect in the output image considering the output characteristics of the
合焦面からの距離に相当するデフォーカス量が画像のボケ量に対応する値である場合、図８（ａ）に示すように、デフォーカス量と立体感制御量は非線形な関係をもち、デフォーカス量が像ずれ量に対応する場合、図８（ｂ）に示すように、線形な関係をもつ。 When the defocus amount corresponding to the distance from the focal plane is a value corresponding to the blur amount of the image, as shown in FIG. 8(a), the defocus amount and the stereoscopic effect control amount have a nonlinear relationship, When the defocus amount corresponds to the image shift amount, there is a linear relationship as shown in FIG. 8(b).
一方、図８（ｃ）に示すように、非許容合焦領域について立体感制御量を０としても前述のように許容合焦領域と非許容合焦領域の鮮鋭性の差は入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づき、出力画像の立体感を得ることは可能である。 On the other hand, as shown in FIG. 8(c), even if the stereoscopic effect control amount is 0 for the non-permissible focus region, the difference in sharpness between the permissible focus region and the non-permissible focus region is the same as that of the input image. It is possible to approach the difference in sharpness between the in-focus area and the non-acceptable in-focus area and obtain a three-dimensional effect in the output image.
上記の制御量は、記録媒体の特性やインクの特性、記録媒体サイズによって異なる。これは、記録媒体やインク特性毎に、インクの滲み等よる画像の鮮鋭性の低下の度合が異なるとともに、記録媒体サイズによって解像度変換処理の変倍率が異なるためである。 The above control amount varies depending on the characteristics of the recording medium, the characteristics of the ink, and the size of the recording medium. This is because the degree of deterioration in image sharpness due to ink bleeding and the like differs depending on the recording medium and ink characteristics, and the scaling factor of the resolution conversion process differs depending on the size of the recording medium.
図９は記録媒体の特性やインクの特性、記録媒体サイズによって立体感制御量が異なることを示す図である。図９（ａ）と図９（ｂ）において、破線は図８（ａ）に示したのと同じ出力特性を示している。 FIG. 9 is a diagram showing that the stereoscopic effect control amount varies depending on the characteristics of the recording medium, the characteristics of the ink, and the size of the recording medium. In FIGS. 9(a) and 9(b), the broken lines indicate the same output characteristics as shown in FIG. 8(a).
さて、図９（ａ）における実線は、図８（ａ）と異なる条件で画像を出力した際のデフォーカス量に対する立体感制御量を示している。図９（ａ）が示す出力特性は、図８（ａ）のそれと比べて、例えば、インクの滲みが大きい、もしくは変倍率が大きいために立体感制御量が大きい場合を示している。これに対して、図９（ｂ）が示す出力特性は、図８（ａ）のそれと比べてインクの滲みが小さい、もしくは変倍率が小さいために立体感制御量が小さい場合を示している。 Now, the solid line in FIG. 9(a) indicates the stereoscopic effect control amount with respect to the defocus amount when the image is output under conditions different from those in FIG. 8(a). The output characteristic shown in FIG. 9(a) shows a case where, for example, the amount of stereoscopic effect control is large due to large ink bleeding or a large magnification ratio, compared to that shown in FIG. 8(a). On the other hand, the output characteristic shown in FIG. 9(b) shows a case where the amount of stereoscopic effect control is small because the ink blur is small or the magnification is small compared to that shown in FIG. 8(a).
なお、シャープネス処理に使用するフィルタは、Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタだけに限定されるものではない。例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタ（特定フィルタ）を用いてシャープネス処理を行って、鮮鋭性を調整制御しても良い。 Note that the filter used for sharpness processing is not limited to the Laplacian of Gaussian filter. For example, the sharpness may be adjusted and controlled by performing sharpness processing using a filter (specific filter) created by obtaining the inverse characteristics of the sharpness reduction information of the output device.
また、以上の説明では、鮮鋭性を制御する処理としてシャープネス処理を例にしたが、これはコントラスト処理でもよい。具体的には、図８（ｄ）に示すように、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。 Further, in the above description, sharpness processing was used as an example of processing for controlling sharpness, but contrast processing may also be used. Specifically, as shown in FIG. 8D, brightness conversion is performed so that the contrast of the brightness values of each pixel of the input image data in the allowable focus area including the focus area is increased. Regarding brightness conversion, there are methods that use a conversion formula that uses the stereoscopic effect control amount as a coefficient, and methods that increase contrast by equalizing the histogram generated from the brightness values of each pixel of input image data. However, if the contrast can be controlled, , of course, it is not limited to this.
シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、出力装置の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて使用してもよい。 Both sharpness processing and contrast processing can control the sharpness of the output image, so depending on the characteristics of the output device, you can select either one or use a combination of the two. good.
＜画像処理条件（図１０～図１２）＞
ここでは、立体感制御処理での画像処理条件の作成方法について説明する。
<Image processing conditions (Figures 10 to 12)>
Here, a method for creating image processing conditions in stereoscopic effect control processing will be described.
図１０は計測用画像の例を示す図である。 FIG. 10 is a diagram showing an example of a measurement image.
画像処理条件として設定するパラメータは、例えば、図１０に示すような計測用画像をプリンタやディスプレイ、プロジェクタ等の出力装置で出力し、測定装置（不図示）を用いて取得した出力装置の出力画像の周波数特性（ＭＴＦ特性）から算出する。なお、測定装置を用いて出力画像を実測するのではなく、出力画像を生成する際における各画像処理をＰＣ上でシミュレートして得られた画像から出力装置のＭＴＦ特性を算出しても良い。 The parameters to be set as image processing conditions include, for example, outputting a measurement image as shown in FIG. 10 with an output device such as a printer, display, or projector, and outputting an output image of the output device obtained using a measuring device (not shown). Calculated from the frequency characteristics (MTF characteristics) of Note that instead of actually measuring the output image using a measurement device, the MTF characteristics of the output device may be calculated from the image obtained by simulating each image processing process on a PC when generating the output image. .
図１０に示すサンプル画像は、ピントが合っている合焦面に対応する画像群１００１、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群１００２から構成されている。より詳細には、周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン１００３、１００４を含むチャートである。 The sample image shown in FIG. 10 is composed of an image group 1001 corresponding to a focused plane that is in focus, and a plurality of image groups 1002 that are expressed with blur corresponding to the amount of blur of the input image at a certain amount of defocus. There is. More specifically, the chart includes a plurality of rectangular patterns or sine wave patterns or uniform patterns 1003 and 1004 having different frequencies.
なお、図１０に図示した例は、周波数の異なる複数の正弦波パターンからなる画像群１００１、１００２である。均一パターン１００３、１００４は夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。 Note that the example illustrated in FIG. 10 is a group of images 1001 and 1002 consisting of a plurality of sine wave patterns having different frequencies. Uniform patterns 1003 and 1004 are each composed of maximum and minimum pixel values on a sine wave pattern.
図１１は画像処理条件の作成方法を示すフローチャートである。 FIG. 11 is a flowchart showing a method for creating image processing conditions.
まず、ステップＳ１１０１では、出力装置１０２から図１０に示した計測用画像を出力する。次に、ステップＳ１１０２では、出力装置１０２で出力した計測用画像を測定装置を用いて測定し、ＭＴＦ特性算出に必要な情報を取得する。
First, in step S1101, the measurement image shown in FIG. 10 is output from the
計測用画像が図１０に示したような周波数の異なる正弦波パターンである場合、ステップＳ１１０３では、ＭＴＦ特性を式（６）或いは式（７）を用いて算出する。この値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（７）を用いることが好ましい。式（６）と式（７）は以下の通りである。即ち、
ＭＴＦ（ｕ）＝｛Ｃ（ｕ）｝／Ｃ’……（６）
ｕ：正弦波の周波数
Ｃ（ｕ）＝｛Ｍａｘ（ｕ）－Ｍｉｎ（ｕ）｝／｛Ｍａｘ（ｕ）＋Ｍｉｎ（ｕ）｝
Ｃ’＝｛（Ｒ１－Ｒ２）｝／｛（Ｒ１＋Ｒ２）｝
Ｍａｘ（ｕ）：周波数で変化する正弦波パターンの最大反射率
Ｍｉｎ（ｕ）：周波数で変化する正弦波パターンの最小反射率
Ｒ１、Ｒ２：均一パターンの反射率（Ｒ１＞Ｒ２）
ＭＴＦ（ｕ）＝｛Ｍａｘ（ｕ）－Ｍｉｎ（ｕ）｝／｛Ｒ１－Ｒ２｝……（７）
である。なお、式（６）や（７）におけるＲ１、Ｒ２の値は反射率としたが、輝度や濃度やデバイスＲＧＢ値を用いてもよいことは言うまでもない。また、計測装置としては、出力装置がプリンタである場合は、例えば、スキャナやデジタルカメラ、顕微鏡であり、ディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。
If the measurement image is a sine wave pattern with different frequencies as shown in FIG. 10, in step S1103, the MTF characteristic is calculated using equation (6) or equation (7). This value means the absolute value of the optical transfer function. When the average brightness of the output image changes, it is preferable to use equation (7). Equations (6) and (7) are as follows. That is,
MTF(u)={C(u)}/C'...(6)
u: Frequency of sine wave C(u)={Max(u)-Min(u)}/{Max(u)+Min(u)}
C'={(R1-R2)}/{(R1+R2)}
Max (u): Maximum reflectance of a sine wave pattern that changes with frequency Min (u): Minimum reflectance of a sine wave pattern that changes with frequency R1, R2: Reflectance of a uniform pattern (R1>R2)
MTF(u)={Max(u)-Min(u)}/{R1-R2}...(7)
It is. Although the values of R1 and R2 in equations (6) and (7) are reflectances, it goes without saying that brightness, density, or device RGB values may be used. Further, as the measuring device, when the output device is a printer, for example, a scanner, a digital camera, or a microscope can be used, and when the output device is a display or a projector, a digital camera can be used.
また、計測用画像が矩形波パターンである場合、出力装置のＭＴＦ特性は、式（６）又は式（７）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。あるいは、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値を用いてもよい。 Further, when the measurement image is a rectangular wave pattern, the MTF characteristic of the output device is expressed by a contrast transfer function (CTF) obtained by applying equation (6) or equation (7). Alternatively, an MTF value obtained by converting a CTF value using a Coltman correction formula may be used.
以上説明した方法により、計測用画像に含まれる合焦面に対応する画像群１００１および任意のデフォーカス量に対応する画像群１００２夫々の画像の周波数特性（ＭＴＦ特性）が取得される。 By the method described above, the frequency characteristics (MTF characteristics) of the images of the image group 1001 corresponding to the in-focus plane included in the measurement image and the image group 1002 corresponding to an arbitrary defocus amount are obtained.
図１２は周波数特性の例を示す図である。 FIG. 12 is a diagram showing an example of frequency characteristics.
図１２において、実線（Ｄ０）は合焦面に対応する画像群１００１の特性、点線（Ｄ１）は許容合焦領域に含まれるデフォーカス量に対応する画像群の特性、破線（Ｄ２）は非許容合焦領域に含まれるデフォーカス量に対応する画像群の特性を示している。 In FIG. 12, the solid line (D0) is the characteristic of the image group 1001 corresponding to the in-focus plane, the dotted line (D1) is the characteristic of the image group corresponding to the amount of defocus included in the allowable focus area, and the broken line (D2) is the characteristic of the image group 1001 corresponding to the in-focus plane. The characteristics of the image group corresponding to the amount of defocus included in the allowable focus area are shown.
これにより、デフォーカス量ごとに、ＭＴＦ特性が取得できる。つまり、デフォーカス量毎の出力装置の鮮鋭性に関する出力特性が得られる。 Thereby, MTF characteristics can be acquired for each defocus amount. In other words, output characteristics regarding the sharpness of the output device for each defocus amount can be obtained.
一方、出力画像で適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、これを適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。言い換えると、出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、デフォーカス量毎の出力装置の鮮鋭性に影響する出力特性に応じて立体感制御量を設定することが必要である。 On the other hand, in order to obtain an appropriate three-dimensional effect in the output image, it is necessary to improve the sharpness of the allowable and non-permissible focus areas of the output image when applying the three-dimensional effect control processing compared to the case where the three-dimensional effect control processing is not applied. It is necessary that the difference in sharpness approaches the difference in sharpness between the permissible and non-permissible in-focus areas in the input image. In other words, in order to appropriately control the difference in sharpness between allowable and non-permissible focus areas in the output image, it is necessary to adjust the stereoscopic effect according to the output characteristics that affect the sharpness of the output device for each defocus amount It is necessary to set the control amount.
具体的には、ステップＳ１１０４において、特定周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に非合焦領域に対してもデフォーカス量毎に得られるＭＴＦ特性から復元量を算出し立体感制御量とする。これにより、図８に示すデフォーカス量に対する立体感制御量が算出される。 Specifically, in step S1104, the stereoscopic effect control amount is set so that the sharpness or frequency characteristics of the in-focus area of the output image at a specific frequency are restored to the sharpness or frequency characteristics of the input image by sharpening processing. Similarly, for the out-of-focus area, the amount of restoration is calculated from the MTF characteristic obtained for each amount of defocus, and is used as the amount of stereoscopic effect control. Thereby, the stereoscopic effect control amount for the defocus amount shown in FIG. 8 is calculated.
デフォーカス量と鮮鋭度の関係は、図８に示したデフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。 The relationship between the defocus amount and sharpness can be determined by setting the relational expression shown in FIG. 8 in which the defocus amount is input and the stereoscopic effect control amount is output, or by selecting parameters using an LUT method. .
もちろんこれに限らず、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。また、立体感制御量はＭＴＦ特性を復元する値に限らない。画像処理条件に設定される出力装置１０２の出力特性に基づいたデフォーカス量と鮮鋭化制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。さらには、図８に示す合焦面の制御量β１は、画像のＭＴＦ特性を０．８から１．２に復元するように設定すると、出力画像における合焦面の鮮鋭性が好ましい画像が得られる。
Of course, the method is not limited to this, and any method may be used as long as it can calculate the stereoscopic effect control amount for the defocus amount. Furthermore, the stereoscopic effect control amount is not limited to a value that restores the MTF characteristics. The difference in sharpness when sharpening processing is not performed according to the defocus amount and sharpening control amount based on the output characteristics of the
最後に、ステップＳ１１０５では、上述のように、デフォーカス量に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される画像処理条件を設定する。
Finally, in step S1105, as described above, image processing conditions derived from the output characteristics regarding sharpness of the
従って以上説明した実施例に従えば、入力画像データに対して設定された画像処理条件に基づいてデフォーカスマップを用いて画像処理することで、出力画像の立体感を制御することができる。 Therefore, according to the embodiments described above, the stereoscopic effect of an output image can be controlled by performing image processing using a defocus map based on image processing conditions set for input image data.
ここで、図１０に示した計測画像を利用して、許容合焦領域を定義する方法について説明する。計測画像（図１０）には、合焦面に対応する画像とあるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群が含まれる。このため、この画像群を出力装置で表示あるいは出力し、被験者に合焦面に対応する画像と比較して鮮鋭性の差が小さい（ピントが合っている）と感じる別の画像群を選択させることで、許容合焦領域を定義するデフォーカス量を決定することができる。 Here, a method of defining an allowable focusing area using the measurement image shown in FIG. 10 will be described. The measurement image (FIG. 10) includes an image corresponding to the in-focus plane and a plurality of image groups expressed with a blur corresponding to the blur amount of the input image at a certain defocus amount. For this reason, this group of images is displayed or output on an output device, and the subject is asked to select another group of images that they feel has a smaller difference in sharpness (in focus) compared to the image corresponding to the focal plane. By doing so, it is possible to determine the amount of defocus that defines the allowable focus area.
表示装置や出力物により被験者実験を実施する場合には、出力装置による鮮鋭性の低下や変化を考慮する必要がある。被験者が見る画像は鮮鋭性の変化や低下をキャンセルしたあるいは軽減したものでなければ、許容合焦領域を好適に定義することができない。そのため、好ましくは鮮鋭性の低下や変化の少ない出力装置を使用するか前述のＭＴＦ特性から逆フィルタ等を作成して鮮鋭性の変化や低下をキャンセルしたあるいは軽減したものを表示する。 When conducting a subject experiment using a display device or output material, it is necessary to take into account the reduction or change in sharpness caused by the output device. Unless the image viewed by the subject cancels or reduces changes or reductions in sharpness, it is not possible to appropriately define an acceptable focusing region. Therefore, it is preferable to use an output device with less deterioration or change in sharpness, or to create an inverse filter or the like based on the above-mentioned MTF characteristics to display an image in which the change or deterioration in sharpness is canceled or reduced.
また、許容合焦領域を定義する別の方法として、次のようにもできる。まず、各画像群の周波数特性に人間の視覚特性（ＶＴＦ）やコントラスト感度関数を適用して各画像群の鮮鋭性を算出する。そして、合焦面に対応する画像とあるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群の鮮鋭性の差から許容合焦領域を定義するのである。この場合、前述の鮮鋭性の差が任意の閾値以下になる画像群を作成したデフォーカス量で許容合焦領域を定義する。任意の閾値については、例えば、合焦面に対応する画像に対しての応答特性を１とした場合、その差が０．８以上になるように定義する。 Further, as another method of defining the allowable focusing area, the following can be used. First, the sharpness of each image group is calculated by applying a human visual field characteristic (VTF) and a contrast sensitivity function to the frequency characteristics of each image group. Then, an allowable focus area is defined based on the difference in sharpness between an image corresponding to the in-focus plane and a plurality of image groups expressed by a blur corresponding to the amount of blur of the input image at a certain amount of defocus. In this case, the allowable focus area is defined by the amount of defocus that creates a group of images in which the difference in sharpness described above is equal to or less than an arbitrary threshold value. The arbitrary threshold value is defined so that, for example, when the response characteristic for the image corresponding to the in-focus plane is 1, the difference therebetween is 0.8 or more.
なお、以上説明した実施例では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量もしくは合焦面と被写体との距離と立体感制御量の関係を画像処理条件としてもよい。 In the embodiments described above, the relationship between the defocus amount and the three-dimensional effect control amount was used as an example of the image processing condition, but the image shift amount or the focal plane, which is information equivalent to the distance from the focal plane, was explained as an image processing condition. The relationship between the distance to the subject and the stereoscopic effect control amount may be used as the image processing condition.
また、以上説明した実施例では、写真画像の画像データとしてカメラ等の撮像装置で撮影したデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、撮像して得られた写真画像を画像編集用のソフトウェアで編集して焦点位置の補正を行い、その際に合わせて画像中の領域毎のフォーカス量も変更することもある。その場合には、補正後の画像データと変更後のデフォーカス量を用いてもよい。また、撮像装置側でフォーカス量を取得せずに、撮像した画像を画像編集用のソフトウェアで解析し、その解析によりフォーカス量を取得するようにしてもよい。
また、これらに限らず、例えばモデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータと、その画像データに対応するソフトで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。
Furthermore, in the embodiments described above, data taken by an imaging device such as a camera is used as image data of a photographic image, and the amount of defocus at the time of photographing is used as information corresponding to the distance from the focal plane. However, the focal position may be corrected by editing the captured photographic image using image editing software, and the amount of focus for each area in the image may also be changed accordingly. In that case, the corrected image data and the changed defocus amount may be used. Alternatively, instead of acquiring the focus amount on the imaging device side, the captured image may be analyzed using image editing software, and the focus amount may be acquired through the analysis.
In addition, but not limited to these, for example, photo image data created with modeling, rendering, image editing software, etc., and information corresponding to the distance from the focal plane created with software corresponding to the image data are used. You can also. These software may generate image blur information etc. using a map which is information corresponding to the distance from the focal plane.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０１ パーソナルコンピュータ装置（ホスト装置）、１０２ 出力装置（プリンタ）、
１１０ 画像処理部、１１１ 印刷部、２０１ 合焦面、２０２ レンズ、
２０３ 像面、３０１ 被写体、４０１ 立体感制御部、４０２ 出力画像生成部
101 personal computer device (host device), 102 output device (printer),
110 image processing section, 111 printing section, 201 focusing plane, 202 lens,
203 image plane, 301 subject, 401 stereoscopic effect control section, 402 output image generation section
Claims (34)
前記取得手段により取得された前記情報と前記鮮鋭性制御量に基づいて、前記出力装置から出力される画像の鮮鋭性を向上させるための前記画像データに対する鮮鋭性制御処理を行う鮮鋭性制御手段と、
を有し、
前記コントラスト特性は、前記写真画像において、前記情報が示す距離が合焦していることを示す領域における前記出力装置による鮮鋭性の変化の度合いは、前記情報が示す距離が合焦していないことを示す領域における前記出力装置による鮮鋭性の変化の度合いよりも大きく、
前記鮮鋭性制御手段による鮮鋭性制御処理は、前記情報に対応する合焦面からの距離が第１の距離である場合の前記鮮鋭性制御量が、前記情報に対応する合焦面からの距離が前記第１の距離よりも大きい第２の距離である場合の前記鮮鋭性制御量よりも大きいことを特徴とする画像処理装置。 Sharpness is set based on image data of a photographic image, information corresponding to the distance from the focal plane in the photographic image, and contrast characteristics with respect to the distance from the focal plane when the output device outputs the image. a control amount; and an acquisition means for acquiring the control amount;
sharpness control means for performing sharpness control processing on the image data to improve the sharpness of an image output from the output device, based on the information acquired by the acquisition means and the sharpness control amount; ,
has
The contrast characteristic is such that, in the photographic image, the degree of sharpness change by the output device in an area where the distance indicated by the information is in focus is such that the degree of change in sharpness by the output device is such that the distance indicated by the information is out of focus. greater than the degree of change in sharpness caused by the output device in a region showing
The sharpness control process by the sharpness control means is such that when the distance from the focal plane corresponding to the information is a first distance, the sharpness control amount is a distance from the focal plane corresponding to the information. is larger than the sharpness control amount when the second distance is larger than the first distance.
前記取得工程において取得された前記情報と前記鮮鋭性制御量に基づいて、前記出力装置から出力される画像の鮮鋭性を向上させるための前記画像データに対する鮮鋭性制御処理を行う鮮鋭性制御工程と、
を有し、
前記コントラスト特性は、前記写真画像において、前記情報が示す距離が合焦していることを示す領域における前記出力装置による鮮鋭性の変化の度合いは、前記情報が示す距離が合焦していないことを示す領域における前記出力装置による鮮鋭性の変化の度合いよりも大きく、
前記鮮鋭性制御工程における鮮鋭性制御処理は、前記情報に対応する合焦面からの距離が第１の距離である場合の前記鮮鋭性制御量が、前記情報に対応する合焦面からの距離が前記第１の距離よりも大きい第２の距離である場合の前記鮮鋭性制御量よりも大きいことを特徴とする画像処理方法。 Sharpness is set based on image data of a photographic image, information corresponding to the distance from the focal plane in the photographic image, and contrast characteristics with respect to the distance from the focal plane when the output device outputs the image. an acquisition step of acquiring the control amount;
a sharpness control step of performing sharpness control processing on the image data to improve the sharpness of an image output from the output device, based on the information acquired in the acquisition step and the sharpness control amount; ,
has
The contrast characteristic is such that, in the photographic image, the degree of sharpness change by the output device in an area where the distance indicated by the information is in focus is such that the degree of change in sharpness by the output device is such that the distance indicated by the information is out of focus. greater than the degree of change in sharpness caused by the output device in a region showing
The sharpness control process in the sharpness control step is such that the sharpness control amount is a distance from the focal plane corresponding to the information when the distance from the focal plane corresponding to the information is a first distance. is larger than the sharpness control amount when the second distance is larger than the first distance.
前記取得手段により取得された情報と前記鮮鋭性制御量とに基づいて、前記画像データに対する鮮鋭性制御処理を実行する鮮鋭性制御手段と、
を有し、
前記コントラスト特性は、前記写真画像において、前記情報が示す距離が合焦していることを示す領域における前記出力装置による鮮鋭性の変化の度合いは、前記情報が示す距離が合焦していないことを示す領域における前記出力装置による鮮鋭性の変化の度合いよりも大きく、
前記鮮鋭性制御手段による鮮鋭性制御処理は、前記情報に対応する合焦面からの距離が第１の距離である場合の前記鮮鋭性制御量が、前記情報に対応する合焦面からの距離が前記第１の距離よりも大きい第２の距離である場合の前記鮮鋭性制御量よりも大きいことを特徴とする画像処理装置。 Based on the contrast characteristics that indicate that the degree of change in the sharpness of the image output from the output device with respect to the sharpness of the input image differs depending on the distance from the focal plane in the input image. acquisition means for acquiring a sharpness control amount for executing sharpness control processing on image data of an image and information corresponding to a distance from a focal plane of the photographic image;
sharpness control means for executing sharpness control processing on the image data based on the information acquired by the acquisition means and the sharpness control amount;
has
The contrast characteristic is such that, in the photographic image, the degree of sharpness change by the output device in an area where the distance indicated by the information is in focus is such that the degree of change in sharpness by the output device is such that the distance indicated by the information is out of focus. greater than the degree of change in sharpness caused by the output device in a region showing
The sharpness control process by the sharpness control means is such that when the distance from the focal plane corresponding to the information is a first distance, the sharpness control amount is a distance from the focal plane corresponding to the information. is larger than the sharpness control amount when the second distance is larger than the first distance .
前記取得工程において取得された情報と前記鮮鋭性制御量とに基づいて、前記画像データに対する鮮鋭性制御処理を実行する鮮鋭性制御工程と、
を有し、
前記コントラスト特性は、前記写真画像において、前記情報が示す距離が合焦していることを示す領域における前記出力装置による鮮鋭性の変化の度合いは、前記情報が示す距離が合焦していないことを示す領域における前記出力装置による鮮鋭性の変化の度合いよりも大きく、
前記鮮鋭性制御工程における鮮鋭性制御処理は、前記情報に対応する合焦面からの距離が第１の距離である場合の前記鮮鋭性制御量が、前記情報に対応する合焦面からの距離が前記第１の距離よりも大きい第２の距離である場合の前記鮮鋭性制御量よりも大きいことを特徴とする画像処理方法。 Based on the contrast characteristics that indicate that the degree of change in the sharpness of the image output from the output device with respect to the sharpness of the input image differs depending on the distance from the focal plane in the input image. an acquisition step of acquiring a sharpness control amount for executing sharpness control processing on image data of an image and information corresponding to a distance from a focal plane of the photographic image;
a sharpness control step of performing sharpness control processing on the image data based on the information acquired in the acquisition step and the sharpness control amount;
has
The contrast characteristic is such that, in the photographic image, the degree of sharpness change by the output device in an area where the distance indicated by the information is in focus is such that the degree of change in sharpness by the output device is such that the distance indicated by the information is out of focus. greater than the degree of change in sharpness caused by the output device in a region showing
The sharpness control process in the sharpness control step is such that the sharpness control amount is a distance from the focal plane corresponding to the information when the distance from the focal plane corresponding to the information is a first distance. is larger than the sharpness control amount when the second distance is larger than the first distance .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/263,158 US10992851B2 (en) | 2018-02-15 | 2019-01-31 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium, with image processing based on image processing condition and information equivalent to distance from focal plane |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018025349 | 2018-02-15 | ||
| JP2018025349 | 2018-02-15 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019146149A JP2019146149A (en) | 2019-08-29 |
| JP2019146149A5 JP2019146149A5 (en) | 2022-01-06 |
| JP7356218B2 true JP7356218B2 (en) | 2023-10-04 |
Family
ID=67772811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018222691A Active JP7356218B2 (en) | 2018-02-15 | 2018-11-28 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7356218B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022083913A (en) | 2020-11-25 | 2022-06-06 | キヤノン株式会社 | Image processing device, image processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012109725A (en) | 2010-11-16 | 2012-06-07 | Canon Inc | Stereoscopic video processing device and stereoscopic video processing method |
| JP2016082579A (en) | 2014-10-17 | 2016-05-16 | キヤノン株式会社 | Image processor, image processing method, and program |
| JP2016225812A (en) | 2015-05-29 | 2016-12-28 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
| JP2017199981A (en) | 2016-04-25 | 2017-11-02 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2018011135A (en) | 2016-07-11 | 2018-01-18 | キヤノン株式会社 | Image processing system and image processing method |
-
2018
- 2018-11-28 JP JP2018222691A patent/JP7356218B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012109725A (en) | 2010-11-16 | 2012-06-07 | Canon Inc | Stereoscopic video processing device and stereoscopic video processing method |
| JP2016082579A (en) | 2014-10-17 | 2016-05-16 | キヤノン株式会社 | Image processor, image processing method, and program |
| JP2016225812A (en) | 2015-05-29 | 2016-12-28 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
| JP2017199981A (en) | 2016-04-25 | 2017-11-02 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2018011135A (en) | 2016-07-11 | 2018-01-18 | キヤノン株式会社 | Image processing system and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019146149A (en) | 2019-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10992851B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium, with image processing based on image processing condition and information equivalent to distance from focal plane | |
| US11037037B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable storage medium | |
| JP7137313B2 (en) | Output device, image processing method and program | |
| US10997696B2 (en) | Image processing method, apparatus and device | |
| US10972714B2 (en) | Image processing apparatus, image processing method and storage medium for storing program | |
| JP7403594B2 (en) | Image processing device, image processing method, and program | |
| JP5202546B2 (en) | Method and system for calibrating and / or visualizing multi-image displays and reducing ghost artifacts | |
| US11645774B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2011135563A (en) | Image capturing apparatus, and image processing method | |
| US11503203B2 (en) | Apparatus and method | |
| JP7356218B2 (en) | Image processing device, image processing method, and program | |
| US11120315B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable storage medium, with image processing using distance information equivalent to distance from focal plane at time of image-capturing and image processing condition | |
| JP5560766B2 (en) | Image processing apparatus, imaging apparatus, and program | |
| JP2004133919A (en) | Device and method for generating pseudo three-dimensional image, and program and recording medium therefor | |
| JP7278080B2 (en) | Image processing device, image processing method, and program | |
| JP6682184B2 (en) | Image processing method, image processing program, image processing device, and imaging device | |
| JP4366634B2 (en) | Noise pixel map creation method, apparatus and program for implementing the method, and photo print apparatus | |
| JP2013239917A (en) | Color processing device and method thereof | |
| JP7208809B2 (en) | Image processing device, image processing method and program | |
| KR20100087920A (en) | Method and apparatus for obtaining image data | |
| JP2010134567A (en) | Image processing apparatus, operation control method thereof, and operation control program therefor | |
| JP2017050605A (en) | Image processing apparatus and method, imaging device, program | |
| US20090232402A1 (en) | Image Processing Apparatus, Image Processing Method, and Computer Program for Image Processing | |
| JP2010074285A (en) | Image processing apparatus and method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230922 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7356218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |