JP2010250774A - Image processor, image processing method and program - Google Patents
Image processor, image processing method and program Download PDFInfo
- Publication number
- JP2010250774A JP2010250774A JP2009102456A JP2009102456A JP2010250774A JP 2010250774 A JP2010250774 A JP 2010250774A JP 2009102456 A JP2009102456 A JP 2009102456A JP 2009102456 A JP2009102456 A JP 2009102456A JP 2010250774 A JP2010250774 A JP 2010250774A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameter
- specific
- feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims abstract description 496
- 238000003860 storage Methods 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 description 86
- 230000006835 compression Effects 0.000 description 72
- 238000007906 compression Methods 0.000 description 72
- 230000008569 process Effects 0.000 description 52
- 230000000875 corresponding effect Effects 0.000 description 48
- 238000003384 imaging method Methods 0.000 description 48
- 239000013598 vector Substances 0.000 description 41
- 239000011229 interlayer Substances 0.000 description 39
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 18
- 238000000605 extraction Methods 0.000 description 16
- 230000008921 facial expression Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 230000006872 improvement Effects 0.000 description 14
- 230000006837 decompression Effects 0.000 description 13
- 238000005286 illumination Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000000513 principal component analysis Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 238000012098 association analyses Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
高解像道画像を低解像度にした低解像度画像から瞳領域を特定して、その瞳領域に対応する高解像度画像上の画像領域から瞳領域を検出して、検出した領域に赤目補正処理を施す画像処理方法が知られている(例えば、特許文献1参照。)。また、カメラで撮像した画像から文字を認識する映像入力装置が知られている(例えば、特許文献2参照。)。この映像入力装置では、文字の認識が可能になるまで、画素ずらしにより撮像して文字領域の解像度を高くしていって、解像度を高めた文字領域から改めて文字認識する。
画像から特定オブジェクト以外のオブジェクトを特定オブジェクトとして誤検出された場合に、当該特定オブジェクト以外のオブジェクトを特定オブジェクト専用の高画質化処理をしてしまうと、適切に高画質化することができないという課題があった。 When an object other than a specific object is mistakenly detected as a specific object from an image, if the object other than the specific object is subjected to high image quality processing dedicated to the specific object, the image quality cannot be improved appropriately. was there.
上記課題を解決するために、本発明の一態様においては、画像処理装置であって、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、および、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納するパラメータ格納部と、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する特定オブジェクト領域検出部と、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータおよび非特定パラメータの重みを決定する重み決定部と、重み決定部が決定した重みに基づいて、特定パラメータおよび非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する画像生成部とを備える。 In order to solve the above-described problem, according to one aspect of the present invention, an image processing apparatus includes a specific parameter that is an image processing parameter used to improve the image quality of a specific object, and an image in which no object is specified. A parameter storage unit that stores non-specific parameters that are image processing parameters used to improve image quality, a specific object region detection unit that detects a specific object region that is a region of a specific object from an input image, and a specific object region that is detected When the quality of the input image is improved, a weight determination unit that determines the weights of the specific parameter and the non-specific parameter and an input using both the specific parameter and the non-specific parameter based on the weight determined by the weight determination unit Image students that produce high-quality images with high-quality images And a part.
重み決定部は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定してよい。 The weight determination unit may determine a weight with respect to the specific parameter greater than the non-specific parameter for the image of the specific object region in the input image.
重み決定部は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定してよい。 The weight determination unit may determine a weight having a higher weight for the specific parameter with respect to an image in a region inside the specific object region in the input image.
重み決定部は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定してよい。 The weight determination unit may determine a weight having a higher weight for the specific parameter for an image of the specific object region having a higher detection reliability as the specific object region.
重み決定部は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定してよい。 The weight determination unit may determine a weight that gives a greater weight to the specific parameter as it is closer to the specific object region, with respect to the image of the non-specific object region that is a region other than the specific object region.
重み決定部は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定してよい。 The weight determination unit may determine a weight for which the weight for the non-specific parameter is larger than the specific parameter for the image of the non-specific object region that is an area other than the specific object area.
パラメータ格納部は、特定のオブジェクトの複数の画像を教師画像として用いた学習により算出された特定パラメータ、および、特定のオブジェクトの画像ではない複数の画像を教師画像として用いた学習により算出された非特定パラメータを格納してよい。 The parameter storage unit is a specific parameter calculated by learning using a plurality of images of a specific object as a teacher image, and a non-calculation calculated by learning using a plurality of images that are not images of a specific object as a teacher image. Specific parameters may be stored.
パラメータ格納部は、画像を高解像度化する特定パラメータおよび非特定パラメータを格納してよい。パラメータ格納部は、画像の階調数を増加させる特定パラメータおよび非特定パラメータを格納してよい。パラメータ格納部は、画像の色数を増加させる特定パラメータおよび非特定パラメータを格納してよい。 The parameter storage unit may store specific parameters and non-specific parameters for increasing the resolution of an image. The parameter storage unit may store a specific parameter and a non-specific parameter that increase the number of gradations of the image. The parameter storage unit may store specific parameters and non-specific parameters that increase the number of colors of the image.
パラメータ格納部は、画像を低ノイズ化する特定パラメータおよび非特定パラメータを格納してよい。パラメータ格納部は、画像を低アーチファクト化する特定パラメータおよび非特定パラメータを格納してよい。パラメータ格納部は、画像のボケを低減する特定パラメータおよび非特定パラメータを格納してよい。 The parameter storage unit may store specific parameters and non-specific parameters for reducing noise in the image. The parameter storage unit may store a specific parameter and a non-specific parameter for reducing an artifact in the image. The parameter storage unit may store specific parameters and non-specific parameters that reduce image blur.
パラメータ格納部は、画像をシャープネス化する特定パラメータおよび非特定パラメータを格納してよい。パラメータ格納部は、動画を高フレームレート化する特定パラメータおよび非特定パラメータを格納してよい。 The parameter storage unit may store specific parameters and non-specific parameters for sharpening the image. The parameter storage unit may store specific parameters and non-specific parameters for increasing the frame rate of a moving image.
非特定パラメータと特定パラメータとを、重み決定部が決定した重みで合成することにより、合成パラメータを生成するパラメータ生成部をさらに備え、画像生成部は、パラメータ生成部が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。 By further combining a non-specific parameter and a specific parameter with a weight determined by the weight determination unit, the image generation unit further includes a parameter generation unit that generates a synthesis parameter. The image generation unit uses the synthesis parameter generated by the parameter generation unit. A high quality image may be generated by improving the quality of the input image.
パラメータ格納部が格納する特定パラメータおよび非特定パラメータの少なくとも一方を、外部から取得する外部情報取得部をさらに備え、パラメータ格納部は、外部情報取得部が取得した特定パラメータおよび非特定パラメータの少なくとも一方を格納してよい。 An external information acquisition unit that acquires at least one of the specific parameter and the non-specific parameter stored in the parameter storage unit from the outside is further provided, and the parameter storage unit is at least one of the specific parameter and the non-specific parameter acquired by the external information acquisition unit May be stored.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、一実施形態に係る画像処理システム10の一例を示す。以下に説明するように、画像処理システム10は、一例として監視システムとして機能することができる。 FIG. 1 shows an example of an image processing system 10 according to an embodiment. As will be described below, the image processing system 10 can function as a monitoring system as an example.
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−d、撮像装置100により撮像された撮像画像を処理する画像処理装置120、通信ネットワーク110、画像処理装置170、画像DB175、および複数の表示装置180a−dを備える。画像処理装置170は、監視対象空間150とは異なる空間165に設けられている。また、表示装置180は、監視対象空間150および空間165とは異なる空間160に設けられている。 The image processing system 10 includes a plurality of imaging devices 100a to 100d that capture the monitoring target space 150, an image processing device 120 that processes a captured image captured by the imaging device 100, a communication network 110, an image processing device 170, an image DB 175, And a plurality of display devices 180a-d. The image processing apparatus 170 is provided in a space 165 different from the monitoring target space 150. The display device 180 is provided in a space 160 different from the monitoring target space 150 and the space 165.
以下の説明において、撮像装置100aおよび撮像装置100bを撮像装置100と総称する場合がある。また、表示装置180a−dを表示装置180と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。 In the following description, the imaging device 100a and the imaging device 100b may be collectively referred to as the imaging device 100. Further, the display devices 180a-d may be collectively referred to as the display device 180. Similarly, in the following description, a character indicated by a numerical code may be generically named by omitting a character following the numerical code, such as an English letter at the end.
撮像装置100aは、撮像部102aおよび撮像画像圧縮部104aを有している。撮像部102aは、連続して監視対象空間150を撮像することによって複数の撮像画像を撮像する。なお、撮像部102aにより得られる撮像画像は、RAW形式の撮像画像であってよい。撮像画像圧縮部104aは、撮像部102aにより撮像されたRAW形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をMPEG符号化等により圧縮して、動画データを生成する。このように、撮像装置100aは、監視対象空間150を撮像して得られた動画を符号化して動画データを生成する。撮像装置100aは、当該動画データを画像処理装置120に出力する。 The imaging device 100a includes an imaging unit 102a and a captured image compression unit 104a. The imaging unit 102a captures a plurality of captured images by continuously capturing the monitoring target space 150. The captured image obtained by the imaging unit 102a may be a RAW format captured image. The captured image compression unit 104a synchronizes the RAW format captured images captured by the imaging unit 102a, compresses a moving image including a plurality of captured images obtained by the synchronization by MPEG encoding or the like, and converts the moving image data. Generate. Thus, the imaging device 100a encodes the moving image obtained by imaging the monitoring target space 150 to generate moving image data. The imaging device 100a outputs the moving image data to the image processing device 120.
なお、撮像装置100b、撮像装置100c、および撮像装置100dは、それぞれ撮像装置100aと同様の構成を有するので、撮像装置100b、撮像装置100c、および撮像装置100dの各構成要素の説明を省略する。このようにして、画像処理装置120は、複数の撮像装置100のそれぞれにより生成された動画データを、複数の撮像装置100のそれぞれから取得する。 Note that the imaging device 100b, the imaging device 100c, and the imaging device 100d have the same configuration as that of the imaging device 100a, and thus description of each component of the imaging device 100b, the imaging device 100c, and the imaging device 100d is omitted. In this way, the image processing device 120 acquires the moving image data generated by each of the plurality of imaging devices 100 from each of the plurality of imaging devices 100.
画像処理装置120は、撮像装置100から取得した動画データを復号することにより、動画を取得する。画像処理装置120は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物130が撮像された領域、車輌等の移動体140が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。 The image processing device 120 acquires a moving image by decoding the moving image data acquired from the imaging device 100. The image processing apparatus 120 has a plurality of different types of features such as an area where a person 130 is imaged, an area where a moving body 140 such as a vehicle is imaged, etc., from each of a plurality of captured images included in the acquired moving image. The feature region of is detected. Then, the image processing apparatus 120 compresses the image of the feature area with an intensity according to the type of the feature, and compresses the image of the area other than the feature area with an intensity stronger than the compression intensity for compressing the image of each feature area. To do.
なお、画像処理装置120は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置120は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク110を通じて画像処理装置170に送信する。 Note that the image processing device 120 generates feature area information including information for specifying the feature area detected from the captured image. Then, the image processing apparatus 120 attaches the feature area information to the compressed moving image data and transmits the feature area information to the image processing apparatus 170 through the communication network 110.
画像処理装置170は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置120から受信する。そして、画像処理装置170は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像DB175に記憶させる。なお、画像DB175は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像DB175は、圧縮された撮像画像を記憶する。 The image processing device 170 receives the compressed moving image data associated with the feature area information from the image processing device 120. Then, the image processing apparatus 170 stores the compressed moving image data in the image DB 175 in association with the feature area information associated with the compressed moving image data. The image DB 175 may store the compressed moving image data in a nonvolatile storage medium such as a hard disk. As described above, the image DB 175 stores the compressed captured image.
また、画像処理装置170は、表示装置180からの要求に応じて、画像DB175から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク110を通じて表示装置180に送信する。表示装置180は、画像処理装置170から受信した表示用動画を表示する。 In response to a request from the display device 180, the image processing device 170 reads the compressed moving image data and the feature area information from the image DB 175, and decompresses the read compressed moving image data using the feature region information for display. A moving image is generated and transmitted to the display device 180 through the communication network 110. The display device 180 displays the display moving image received from the image processing device 170.
なお、画像処理装置170は、画像処理装置120から取得した圧縮動画データを、特徴領域情報を利用して伸張して表示用動画を生成して、画像DB175に記憶させてもよい。このとき、画像処理装置170は、特徴領域情報を対応づけて表示用動画を画像DB175に記憶させしてもよい。そして、画像処理装置170は、表示装置180からの要求に応じて、画像DB175から表示用動画を読み出して、特徴領域情報とともに表示装置180に送信してもよい。 Note that the image processing apparatus 170 may decompress the compressed moving image data acquired from the image processing apparatus 120 using the feature area information to generate a display moving image, and store the generated moving image data in the image DB 175. At this time, the image processing apparatus 170 may store the display moving image in the image DB 175 in association with the feature area information. Then, in response to a request from the display device 180, the image processing device 170 may read the display moving image from the image DB 175 and transmit it to the display device 180 together with the feature area information.
また、表示装置180は、画像処理装置170または画像処理装置120から特徴領域情報および圧縮動画データを受信してもよい。表示装置180は、受信した圧縮動画データを復号して表示装置180に表示させる場合に、復号して得られた撮像画像における特徴領域を一旦単純拡大して表示装置180に表示させてよい。表示装置180は、表示装置180における処理容量に応じて各特徴領域の画質を決定して、決定した画質で特徴領域の画像を高画質化してよい。表示装置180は、表示装置180が表示している撮像画像における特徴領域の画像を、高画質化した特徴領域の画像で差し替えて表示装置180に表示させてもよい。 The display device 180 may receive the feature area information and the compressed moving image data from the image processing device 170 or the image processing device 120. When the received compressed moving image data is decoded and displayed on the display device 180, the display device 180 may simply enlarge the feature region in the captured image obtained by decoding and display the feature region on the display device 180. The display device 180 may determine the image quality of each feature region in accordance with the processing capacity of the display device 180, and improve the image quality of the feature region with the determined image quality. The display device 180 may replace the image of the feature area in the captured image displayed by the display device 180 with the image of the feature area having a higher image quality and cause the display device 180 to display the image.
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置170は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置170は、特定した撮像画像を復号して、表示装置180に提供することにより表示装置180に表示させてもよい。 The feature area information is text data including the position of the feature area, the size of the feature area, the number of feature areas, identification information for identifying the captured image in which the feature area is detected, or the like, or compressed or encrypted into the text data. It may be data that has been processed. Then, the image processing apparatus 170 identifies captured images that satisfy various search conditions based on the position of the feature region, the size of the feature region, the number of feature regions, and the like included in the feature region information. Then, the image processing device 170 may display the identified captured image on the display device 180 by decoding it and providing it to the display device 180.
このように、画像処理システム10によると、特徴領域を示す情報を動画に対応づけて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム10によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。 As described above, according to the image processing system 10, since the information indicating the feature region is stored in association with the moving image, it is possible to quickly search and cue a captured image group that matches a predetermined condition in the moving image. it can. Also, according to the image processing system 10, only a captured image group that meets a predetermined condition can be decoded, so that a partial moving image that meets the predetermined condition can be displayed promptly in response to a reproduction instruction.
なお、記録媒体80は、画像処理装置120、画像処理装置170、表示装置180用のプログラムを記憶している。記録媒体80が記憶しているプログラムは、本実施形態に係る画像処理装置120、画像処理装置170、表示装置180としてそれぞれ機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するCPUは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。CPUが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置120、画像処理装置170、表示装置180などとして当該コンピュータを機能させる。 The recording medium 80 stores programs for the image processing device 120, the image processing device 170, and the display device 180. The program stored in the recording medium 80 is provided to an electronic information processing apparatus such as a computer that functions as the image processing apparatus 120, the image processing apparatus 170, and the display apparatus 180 according to the present embodiment. The CPU included in the computer operates according to the contents of the program and controls each unit of the computer. The program executed by the CPU causes the computer to function as the image processing device 120, the image processing device 170, the display device 180, and the like described with reference to this and subsequent drawings.
記録媒体80としては、CD−ROMの他に、DVDまたはPD等の光学記録媒体、MOまたはMDなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置が記録媒体80として機能することもできる。 As the recording medium 80, in addition to a CD-ROM, an optical recording medium such as DVD or PD, a magneto-optical recording medium such as MO or MD, a magnetic recording medium such as a tape medium or a hard disk device, a semiconductor memory, a magnetic memory, or the like. It can be illustrated. In addition, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet can function as the recording medium 80.
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、画像取得部250、特徴領域特定部203、外部情報取得部280、圧縮制御部210、圧縮部240、対応付け処理部206、および出力部207を備える。画像取得部250は、圧縮動画取得部201および圧縮動画伸張部202を有する。 FIG. 2 shows an example of a block configuration of the image processing apparatus 120. The image processing apparatus 120 includes an image acquisition unit 250, a feature region specifying unit 203, an external information acquisition unit 280, a compression control unit 210, a compression unit 240, an association processing unit 206, and an output unit 207. The image acquisition unit 250 includes a compressed moving image acquisition unit 201 and a compressed moving image expansion unit 202.
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像であってよく、フィールド画像であってもよい。 The compressed moving image acquisition unit 201 acquires a compressed moving image. Specifically, the compressed moving image acquisition unit 201 acquires encoded moving image data generated by the imaging device 100. The compressed moving image expansion unit 202 generates a plurality of captured images included in the moving image by expanding the moving image data acquired by the compressed moving image acquisition unit 201. Specifically, the compressed video decompression unit 202 decodes the encoded video data acquired by the compressed video acquisition unit 201 and extracts a plurality of captured images included in the video. Note that the captured image included in the moving image may be a frame image or a field image.
圧縮動画伸張部202によって得られた複数の撮像画像は、特徴領域特定部203および圧縮部240に供給される。特徴領域特定部203は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域特定部203は、複数の撮像画像のそれぞれから特徴領域を検出する。 The plurality of captured images obtained by the compressed moving image decompression unit 202 are supplied to the feature region specifying unit 203 and the compression unit 240. The feature region specifying unit 203 detects a feature region from a moving image including a plurality of captured images. Specifically, the feature region specifying unit 203 detects a feature region from each of the plurality of captured images.
例えば、特徴領域特定部203は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域特定部203は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域特定部203は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標として分類される種類であってよい。また、オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域特定部203は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。 For example, the feature area specifying unit 203 detects an image area whose image content changes in the moving image as the feature area. Specifically, the feature area specifying unit 203 may detect an image area including a moving object as a feature area. Note that the feature region specifying unit 203 may detect a plurality of feature regions having different types of features from each of the plurality of captured images. Note that the type of feature may be a type classified using the type of object as an index, such as a person and a moving object. Further, the type of the object may be determined based on the degree of coincidence of the object shape or the object color. As described above, the feature region specifying unit 203 may detect a plurality of feature regions having different types of included objects from a plurality of captured images.
例えば、特徴領域特定部203は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域特定部203は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。 For example, the feature region specifying unit 203 extracts an object that matches a predetermined shape pattern with a matching degree equal to or higher than a predetermined matching degree from each of the plurality of picked-up images, and in the picked-up image including the extracted object. The region may be detected as a feature region having the same feature type. Note that a plurality of shape patterns may be determined for each type of feature. As an example of the shape pattern, a shape pattern of a human face can be exemplified. Different face patterns may be determined for each of a plurality of persons. Thereby, the feature region specifying unit 203 can detect different regions each including a different person as different feature regions.
なお、特徴領域特定部203は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の血管等のように、生体の内部に存在する特定の組織を含む。画像処理システム10が内視鏡システムである場合など、生体内部の画像を処理する場合には、生体の内部に存在する特定の組織として、生体内部の腫瘍組織を例示することもできる。他にも、特徴領域特定部203は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。 The feature region specifying unit 203 includes, in addition to the above-described human face, a part of the human body such as the head of the person or the hand of the person, or at least a part of a living body other than the human body. Can be detected as a feature region. The living body includes a specific tissue existing inside the living body, such as a blood vessel inside the living body. When an image inside the living body is processed, such as when the image processing system 10 is an endoscope system, a tumor tissue inside the living body can be exemplified as the specific tissue existing inside the living body. In addition, the feature area specifying unit 203 may detect, as a feature area, an area in which a card such as money, a cash card, a vehicle, or a license plate of a vehicle is captured in addition to a living body.
また、特徴領域特定部203は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開2007−188419号公報に記載された機械学習(例えば、アダブースト)等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域特定部203は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。 In addition to pattern matching by template matching or the like, the feature region specifying unit 203 selects feature regions based on learning results by machine learning (for example, Adaboost) described in, for example, Japanese Patent Application Laid-Open No. 2007-188419. It can also be detected. For example, an image feature amount extracted from a predetermined subject image and an image feature amount extracted from a subject image other than the predetermined subject are extracted from the predetermined subject image. Learn the features of the image features. Then, the feature region specifying unit 203 may detect a region from which an image feature amount having a feature that matches the learned feature is extracted as a feature region.
なお、特徴領域特定部203は、特願2008−078641号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域特定部203は、生成された画像群のうちの相対的に小さい第1の画像に、第1のフィルタを作用させて、評価値を算出する。ここで、第1のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第1のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。複数の広さの領域とは、例えば、32×32画素の領域、16×16画素の領域、および、8×8画素の領域であってよい。特徴領域特定部203は、所定の第1の閾値を越える評価値が得られた一次候補領域を、第1の画像から抽出する。 Note that the feature region specifying unit 203 may detect the feature region by the method described in Japanese Patent Application No. 2008-078641. For example, the feature region specifying unit 203 includes an image group including a captured image and one or more thinned images by thinning out the captured image of the object detection target at a predetermined ratio, or by thinning out in stages at the predetermined ratio. Is generated. Then, the feature area specifying unit 203 calculates the evaluation value by applying the first filter to the relatively small first image in the generated image group. Here, the first filter acts on a two-dimensionally expanding region on the image, thereby generating an evaluation value representing the probability that a specific type of object exists in the region. In addition, the first filter includes a plurality of filters each acting on a plurality of areas having different numbers of pixels corresponding to the area of the area on the image or different in stages at the predetermined ratio. It may be a filter that acts on a relatively narrow region of the filter group that includes the filter group. The plurality of areas may be, for example, a 32 × 32 pixel area, a 16 × 16 pixel area, and an 8 × 8 pixel area. The feature area specifying unit 203 extracts a primary candidate area from which an evaluation value exceeding a predetermined first threshold is obtained from the first image.
そして、特徴領域特定部203は、第1の画像よりも画素数が一段階多い第2の画像における一次候補領域に相当する領域に、フィルタ群のうちの第1のフィルタよりも一段階広い領域に作用する第2のフィルタを作用させて、評価値を算出する。そして、特徴領域特定部203は、所定の第2の閾値を越える評価値が得られる二次候補領域を抽出する。 Then, the feature region specifying unit 203 is a region that is one step wider than the first filter in the filter group in a region corresponding to the primary candidate region in the second image that has one more pixel number than the first image. The evaluation value is calculated by applying the second filter that operates on the. Then, the feature region specifying unit 203 extracts a secondary candidate region from which an evaluation value exceeding a predetermined second threshold is obtained.
ここで、特徴領域特定部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域特定部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域特定部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域特定部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域特定部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域特定部203は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。 Here, the feature region specifying unit 203 repeats the extraction process of extracting the candidate region by applying the plurality of filters that operate on the regions having different widths to the corresponding region of the image group. Go. At this time, the feature region specifying unit 203 sequentially repeats an extraction process that operates a filter that operates on a relatively narrow area from an extraction process that operates a filter that operates on a relatively narrow area. Specifically, the feature area specifying unit 203 operates a filter that operates on a relatively large image on a relatively large image from an extraction process that operates on a relatively small image on a relatively small image. Repeat sequentially for the extraction process. The feature region specifying unit 203 detects a specific type of object by repeating two or more extraction processes and finally extracting candidate regions. Then, the feature region specifying unit 203 detects a region where the specific type of object exists as a feature region. As described above, the feature area specifying unit 203 causes the filter to be limited to the area extracted in the immediately preceding process in the subsequent extraction process. Therefore, the presence / absence of the object is sequentially selected in each of the plurality of extraction processes, and the feature region can be detected with higher accuracy. In addition, since the feature area is roughly screened with a small-sized image, the feature area can be detected at a higher speed.
また、特徴領域特定部203は、特願2008−078636号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部203は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域特定部203は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域特定部203は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域特定部203は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。例えば、特徴領域特定部203は、一次評価値を所定の重みづけで加算することにより、二次評価値を求める。そして、特徴領域特定部203は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。なお、フィルタとしては、所定位置の画素値についてx方向の差分をとるフィルタ、所定位置の画素値をy方向の差分をとるフィルタ、所定位置の画素値の差分演算により曲線のエッジを検出するフィルタなどを例示することができる。これにより、特徴領域特定部203は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域特定部203は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。 The feature region specifying unit 203 may detect the feature region by the method described in Japanese Patent Application No. 2008-078636. For example, the feature region specifying unit 203 operates on a region having a predetermined area that is two-dimensionally expanded with the captured image, and calculates a plurality of different feature amounts of the contour and the inside of the specific type of object. A feature region is detected using a filter. Specifically, the feature region specifying unit 203 calculates a plurality of feature amounts by causing the plurality of filters to act on regions of a predetermined area on the captured image that is the object detection target. Here, a correspondence relationship between each feature amount calculated by each of the plurality of filters and a primary evaluation value representing the probability of being a specific type of object is associated with the plurality of filters. The feature area specifying unit 203 obtains each primary evaluation value corresponding to each calculated feature amount based on the correspondence relationship. Then, the feature area specifying unit 203 obtains a secondary evaluation value representing the probability that a specific type of object exists in the area by integrating a plurality of primary evaluation values corresponding to the plurality of filters. For example, the feature area specifying unit 203 obtains the secondary evaluation value by adding the primary evaluation values with a predetermined weight. Then, the feature region specifying unit 203 compares the secondary evaluation value with a threshold value, and extracts a region having a high probability that a specific type of object exists beyond the threshold value. In addition, as a filter, the filter which takes the difference of the x direction about the pixel value of a predetermined position, the filter which takes the difference of the pixel value of a predetermined position in the y direction, and the filter which detects the edge of a curve by the difference calculation of the pixel value of a predetermined position Etc. can be illustrated. Thereby, the feature area specifying unit 203 detects the area as a feature area in which a specific type of object exists. As described above, the feature region specifying unit 203 combines a plurality of filters for extracting feature quantities representing various features inside and inside the object, thereby enabling the feature to be obtained with higher accuracy than extraction based only on the shape of the contour, for example. Regions can be extracted.
なお、特徴領域特定部203は、特願2008−078636号に記載された方法と、特願2008−078641号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願2008−078636号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域特定部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域特定部203は、画像群のうちの相対的に小さい第1の画像に相対的に狭い領域に作用する複数の第1のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域特定部203は、該複数の第1のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域特定部203は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域特定部203は、求められた二次評価値と第1の閾値とを比較して該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。 The feature region specifying unit 203 may detect the feature region by a method in which the method described in Japanese Patent Application No. 2008-078636 and the method described in Japanese Patent Application No. 2008-078641 are combined. Specifically, the plurality of filters described in relation to the method described in Japanese Patent Application No. 2008-078636 have a plurality of areas in which the number of pixels is different at a predetermined ratio or stepwise at a predetermined ratio. A plurality of filters may be included for each area, each acting on each of the regions. Each of the filters may be associated with the correspondence relationship corresponding to each of the filters. The feature region specifying unit 203 then creates an image group including the captured image and one or more thinned-out images by thinning out the captured image of the object detection target at a predetermined ratio or stepping out at a predetermined ratio. Generate. The feature region specifying unit 203 calculates a plurality of feature amounts by applying a plurality of first filters that act on a relatively narrow region to a relatively small first image in the image group. Then, the feature region specifying unit 203 obtains each primary evaluation value corresponding to each calculated feature amount based on the correspondence relationship corresponding to each of the plurality of first filters. Then, the feature area specifying unit 203 obtains a secondary evaluation value representing the probability that a specific type of object exists in the area by integrating a plurality of primary evaluation values. Then, the feature region specifying unit 203 compares the obtained secondary evaluation value with the first threshold value, and extracts a primary candidate region that has a high probability that a specific type of object exists beyond the first threshold value. .
また、特徴領域特定部203は、上記画像群のうちの第1の画像よりも画素数が一段階多い第2の画像の、一次候補領域に相当する領域に複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域特定部203は、当該複数の第2のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域特定部203は、複数の第2のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域特定部203は、求められた二次評価値と第2の閾値とを比較して第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。 In addition, the feature area specifying unit 203 has one stage higher than the plurality of first filters in the area corresponding to the primary candidate area of the second image having one more pixel number than the first image in the image group. A plurality of feature amounts are calculated by applying a plurality of second filters that operate over a wide area. Then, the feature region specifying unit 203 obtains each primary evaluation value corresponding to each calculated feature amount based on the correspondence relationship corresponding to each of the plurality of second filters. Then, the feature region specifying unit 203 combines the plurality of primary evaluation values corresponding to the plurality of second filters, and thereby represents a secondary representing the probability that a specific type of object exists in the region corresponding to the primary candidate region. Obtain an evaluation value. Then, the feature region specifying unit 203 compares the obtained secondary evaluation value with the second threshold value, and extracts a secondary candidate region that has a high probability that a specific type of object exists beyond the second threshold value. .
ここで、特徴領域特定部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域特定部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域特定部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域特定部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域特定部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。 Here, the feature region specifying unit 203 repeats the extraction process of extracting the candidate region by applying the plurality of filters that operate on the different width regions to the corresponding width region of the image group. Go. At this time, the feature region specifying unit 203 sequentially repeats an extraction process that operates a filter that operates on a relatively narrow area, and an extraction process that operates a filter that operates on a relatively wide area. Specifically, the feature area specifying unit 203 operates a filter that operates on a relatively large image on a relatively large image from an extraction process that operates on a relatively small image on a relatively small image. Repeat sequentially for the extraction process. The feature region specifying unit 203 detects a specific type of object by repeating two or more extraction processes and finally extracting candidate regions. Then, the feature region specifying unit 203 detects a region where the specific type of object exists as a feature region.
また、特徴領域特定部203は、特願2008−098600号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部203は、複数の撮像装置100により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置100aおよび撮像装置100bは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置100aおよび撮像装置100bは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置100aが撮像した第1の撮像画像と、撮像装置100bが撮像した第2の撮像画像とを、ペア画像と呼ぶ。特徴領域特定部203は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。 The feature region specifying unit 203 may detect the feature region by a method described in Japanese Patent Application No. 2008-098600. For example, the feature region specifying unit 203 detects a feature region from a plurality of captured images included in moving images captured by the plurality of imaging devices 100. As an example, it is assumed that the imaging device 100a and the imaging device 100b capture the same scene. For example, the imaging device 100a and the imaging device 100b can function as a stereo camera. In the following description, the first captured image captured by the image capturing apparatus 100a and the second captured image captured by the image capturing apparatus 100b are referred to as a pair image. The feature area specifying unit 203 detects, from the pair image, a specific type of object projected on the pair image, and detects the detected area of the specific type of object as a feature area.
特徴領域特定部203は、ペア画像とみなされる第1および第2の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域特定部203は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。例えば、特徴領域特定部203は、各撮像画像に含まれるオブジェクトの寸法を抽出して、略同一の寸法のオブジェクトが写し込まれた領域を、特定種類のオブジェクトが写し込まれた領域として検出してよい。そして、特徴領域特定部203は、抽出した第1の撮像画像上の領域と第2の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域特定部203は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。例えば、特徴領域特定部203は、同一被写体の画像上の位置差から当該距離を算出することができる。特徴領域特定部203は、被写体までの距離に基づく被写体の3次元形状に基づいて、特定種類のオブジェクトを検出することができる。 For each of the first and second captured images regarded as a pair image, the feature region specifying unit 203 extracts a region in which a specific type of object is imprinted on each captured image. Here, the feature area specifying unit 203 may detect an area in which a specific type of object is imprinted with rough detection accuracy. For example, the feature area specifying unit 203 extracts the dimensions of the objects included in each captured image, and detects an area in which an object with substantially the same size is imprinted as an area in which a specific type of object is imprinted. It's okay. The feature area specifying unit 203 detects a specific type of object by detecting a pair of areas corresponding to each other from the extracted area on the first captured image and the area on the second captured image. To do. For example, the feature area specifying unit 203 calculates the distance from the image of the paired area to the subject imaged in the area. For example, the feature area specifying unit 203 can calculate the distance from the position difference on the image of the same subject. The feature area specifying unit 203 can detect a specific type of object based on the three-dimensional shape of the subject based on the distance to the subject.
ここで、特徴領域特定部203は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第1および第2の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域特定部203は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル(例えば、画素値勾配ベクトル)を例示することができる。そして、特徴領域特定部203は、算出された第1の画像上の領域のベクトルと第2の画像上のベクトルとの間の論理上の距離を算出する。特徴領域特定部203は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域特定部203は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域特定部203は、被写体の3次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。 Here, when detecting a pair of areas corresponding to each other, the feature area specifying unit 203 detects an area in which a specific type of object detected from the first and second captured images regarded as a pair image is imprinted. Divide into multiple sub-regions. Then, the feature region specifying unit 203 calculates a vector over a plurality of subregions of the feature amount characterizing the partial image projected in each subregion. Here, as the feature amount, a pixel value can be exemplified. Moreover, as a vector over a plurality of sub-regions, a gradient vector (for example, a pixel value gradient vector) can be exemplified. Then, the feature area specifying unit 203 calculates a logical distance between the calculated area vector on the first image and the vector on the second image. The feature area specifying unit 203 detects a pair of areas whose logical distance is smaller than a predetermined value as a pair of areas corresponding to each other. As the logical distance, the square root of the sum of squares with respect to the difference between the components forming the vector can be exemplified. In this way, the feature region specifying unit 203 can extract a pair of corresponding regions from the pair image with high accuracy, and thus can calculate the distance to the subject with high accuracy. Therefore, the feature area specifying unit 203 can recognize the three-dimensional shape of the subject with high accuracy, and as a result, can detect a specific type of object with higher accuracy.
また、特徴領域特定部203は、特願2008−091562号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部203は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置100の画角上の位置情報とを伴って抽出する。例えば、特徴領域特定部203は、人物の頭部が検出対象である場合、上半部分の輪郭が半円形に類似した類被写体形状を、寸法と画角上の位置情報とともに抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域特定部203は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域特定部203は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域特定部203は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域特定部203は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。 The feature region specifying unit 203 may detect the feature region by the method described in Japanese Patent Application No. 2008-091562. For example, the feature area specifying unit 203 determines a similar subject shape similar to a specific type of subject from each of the plurality of captured images included in the moving image, and the position of the similar subject shape and the position on the angle of view of the imaging device 100. Extract with information. For example, when the head of a person is a detection target, the feature region specifying unit 203 extracts a similar subject shape having an upper half portion whose outline is similar to a semicircle, together with dimensions and position information on the angle of view. The position information on the angle of view can be exemplified by the position on the image area in the captured image. Then, the feature region specifying unit 203 determines whether or not the extracted subject of the similar subject shape is a specific type of subject, and extracts the specific type of subject. For example, the feature area specifying unit 203 counts the number of detected similar subject shapes classified into the same size from a predetermined search region around the similar subject shape, and the count value is If the threshold is equal to or greater than the threshold, the subject having the similar subject shape may be extracted as a specific type of subject. Then, the feature area specifying unit 203 may detect an area including a specific type of subject as a feature area. Therefore, the feature region specifying unit 203 can detect a subject having a similar subject shape in the image region in which subjects having a size close to a predetermined size are concentrated and detected as a specific type of subject. Then, it is not necessary to detect a subject having a similar subject shape in a region other than the image region as a specific type of subject. For this reason, it is possible to reduce the probability of erroneously detecting a subject having a similar subject shape in a region other than the image region as a specific type of subject.
なお、撮像装置100が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置100の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置100により、一の撮像装置100が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置100のそれぞれの撮像方向、および複数の撮像装置100のそれぞれにより撮像された撮像画像上の位置を例示することができる。 Note that when the imaging apparatus 100 can capture an image with a variable angle of view, the position information on the angle of view can be exemplified by the imaging direction of the imaging apparatus 100 and the position on the captured image. In addition, when a plurality of imaging devices 100 can capture a continuous scene that is wider than the subject captured by one imaging device 100, the positional information on the angle of view includes a plurality of imaging devices. The respective imaging directions of 100 and the positions on the captured image captured by each of the plurality of imaging devices 100 can be exemplified.
特徴領域特定部203は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。なお、特徴領域特定部203は、矩形を含む任意の形状を有する特徴領域を検出してよい。 The feature area specifying unit 203 can detect an area in which a predetermined subject is imaged as a feature area. Note that the feature region specifying unit 203 may detect a feature region having an arbitrary shape including a rectangle.
このように、特徴領域特定部203は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域特定部203は、検出した特徴領域を示す情報を、圧縮制御部210に供給する。なお、特徴領域を示す情報は、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された動画を識別する情報を含む。 As described above, the feature region specifying unit 203 detects a plurality of feature regions from a plurality of captured images included in each of a plurality of moving images. Then, the feature region specifying unit 203 supplies information indicating the detected feature region to the compression control unit 210. Note that the information indicating the feature area includes coordinate information of the feature area indicating the position of the feature area, type information indicating the type of the feature area, and information for identifying the moving image in which the feature area is detected.
圧縮制御部210は、特徴領域特定部203から取得した特徴領域を示す情報に基づいて、圧縮部240による動画の圧縮処理を制御する。圧縮部240は、圧縮制御部210による制御により、以下に説明するように撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部240は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部240は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。 The compression control unit 210 controls the compression processing of the moving image by the compression unit 240 based on the information indicating the feature region acquired from the feature region specifying unit 203. The compression unit 240 compresses the captured image with different intensities between the feature region in the captured image and the region other than the feature region in the captured image as described below under the control of the compression control unit 210. For example, the compression unit 240 compresses the captured image by reducing the resolution of the region other than the feature region in the captured image included in the moving image from the feature region. As described above, the compression unit 240 compresses each image area in the captured image with an intensity corresponding to the importance of the image area.
なお、特徴領域特定部203が複数の特徴領域を検出した場合、圧縮部240は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部240は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。 Note that when the feature region specifying unit 203 detects a plurality of feature regions, the compression unit 240 may compress the images of the plurality of feature regions in the captured image with an intensity corresponding to the feature type of each feature region. For example, the compression unit 240 may reduce the resolution of the images of the plurality of feature regions in the captured image to a resolution determined according to the feature type of the feature region.
対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部207は、対応付け処理部206によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置170に出力する。 The association processing unit 206 associates information specifying the feature area detected from the captured image with the captured image. Specifically, the association processing unit 206 associates information for specifying a feature area detected from a captured image with a compressed moving image including the captured image as a moving image constituent image. Then, the output unit 207 outputs the compressed moving image data associated with the information specifying the feature region by the association processing unit 206 to the image processing apparatus 170.
なお、外部情報取得部280は、特徴領域特定部203が特徴領域を特定する処理に用いるデータを、画像処理装置120の外部から取得する。特徴領域特定部203は、外部情報取得部280が取得したデータを用いて、特徴領域を特定する。外部情報取得部280が取得するデータについては、図6に関連して説明する。 Note that the external information acquisition unit 280 acquires data used by the feature region specifying unit 203 for processing for specifying the feature region from the outside of the image processing apparatus 120. The feature area specifying unit 203 uses the data acquired by the external information acquisition unit 280 to specify the feature area. Data acquired by the external information acquisition unit 280 will be described with reference to FIG.
図3は、圧縮部240のブロック構成の一例を示す。圧縮部240は、画像分割部232、複数の固定値化部234a−c(以下、固定値化部234と総称する場合がある。)、および複数の圧縮処理部236a−d(以下、圧縮処理部236と総称する場合がある。)を有する。 FIG. 3 shows an example of a block configuration of the compression unit 240. The compression unit 240 includes an image dividing unit 232, a plurality of fixed value conversion units 234a-c (hereinafter may be collectively referred to as a fixed value conversion unit 234), and a plurality of compression processing units 236a-d (hereinafter referred to as compression processing). Part 236 in some cases).
画像分割部232は、画像取得部250から複数の撮像画像を取得する。そして、画像分割部232は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部232は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部232は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部236は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部236は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。 The image dividing unit 232 acquires a plurality of captured images from the image acquisition unit 250. Then, the image dividing unit 232 divides the plurality of captured images into a feature region and a background region other than the feature region. Specifically, the image dividing unit 232 divides the plurality of captured images into each of a plurality of feature areas and a background area other than the feature areas. As described above, the image dividing unit 232 divides each of the plurality of captured images into the feature region and the background region. Then, the compression processing unit 236 compresses the feature region image, which is the feature region image, and the background region image, which is the background region image, with different strengths. Specifically, the compression processing unit 236 compresses a feature area moving image including a plurality of feature area images and a background area moving image including a plurality of background area images with different strengths.
より具体的には、画像分割部232は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部234は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部234は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画をMPEG圧縮する。 More specifically, the image dividing unit 232 generates a feature area moving image for each of a plurality of feature types by dividing a plurality of captured images. Then, the fixed value unit 234 fixes the pixel values of the regions other than the feature regions of the respective feature types for each of the feature region images included in the plurality of feature region moving images generated for each feature type. To do. Specifically, the fixed value converting unit 234 sets pixel values in regions other than the feature region to predetermined pixel values. Then, the compression processing unit 236 compresses a plurality of feature area moving images for each feature type. For example, the compression processing unit 236 performs MPEG compression on a plurality of feature area moving images for each feature type.
固定値化部234a、固定値化部234b、および固定値化部234cは、それぞれ第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236cは、第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を圧縮する。 The fixed value unit 234a, the fixed value unit 234b, and the fixed value unit 234c are a feature region moving image of the first feature type, a feature region moving image of the second feature type, and a third feature type, respectively. The feature area video of is fixed. Then, the compression processing unit 236a, the compression processing unit 236b, and the compression processing unit 236c are the feature region moving image of the first feature type, the feature region moving image of the second feature type, and the feature of the third feature type. Compress area video.
なお、圧縮処理部236a−cは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部236は、MPEG符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。 Note that the compression processing units 236a-c compress the feature area moving image with a predetermined strength according to the type of feature. For example, the compression processing unit 236 may convert the feature region moving image into a moving image having a different resolution determined in advance according to the feature type of the feature region, and compress the converted feature region moving image. In addition, the compression processing unit 236 may compress the feature region moving image with different quantization parameters determined in advance according to the feature type when compressing the feature region moving image by MPEG encoding.
また、圧縮処理部236dは、背景領域動画を圧縮する。なお、圧縮処理部236dは、圧縮処理部236a−cのいずれによる圧縮強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部236によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部206に供給される。 The compression processing unit 236d compresses the background area moving image. Note that the compression processing unit 236d may compress the background area moving image with a strength higher than the compression strength by any of the compression processing units 236a-c. The feature area moving image and the background area moving image compressed by the compression processing unit 236 are supplied to the association processing unit 206.
なお、特徴領域以外の領域は固定値化部234によって固定値化さるので、圧縮処理部236がMPEG符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部240は、特徴領域動画をより高い圧縮率で圧縮することができる。 Since areas other than the feature area are fixed values by the fixed value converting unit 234, when the compression processing unit 236 performs predictive encoding using MPEG encoding or the like, an image between the predicted image in the area other than the feature area is displayed. Can be significantly reduced. For this reason, the compression unit 240 can compress the feature region moving image with a higher compression rate.
なお、本図の構成では、圧縮部240が有する複数の圧縮処理部236のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部240は一の圧縮処理部236を有してよく、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部236に時分割で順次供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。 In the configuration of this figure, each of the plurality of compression processing units 236 included in the compression unit 240 compresses a plurality of feature region images and a background region image. A compression processing unit 236 may be included, and one compression processing unit 236 may compress the images of the plurality of characteristic regions and the images of the background region with different strengths. For example, a plurality of feature region images and a background region image are sequentially supplied to one compression processing unit 236 in a time-sharing manner, and the one compression processing unit 236 differs from the plurality of feature region images and the background region image. You may compress sequentially by intensity.
他にも、一の圧縮処理部236は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部236に供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部236が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部236が圧縮する形態では、一の圧縮処理部236は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部232によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部236が一の画像の全体を圧縮する場合には、画像分割部232による分割処理および固定値化部234による固定値化処理はなされなくてよいので、圧縮部240は、画像分割部232および固定値化部234を有しなくてよい。 In addition, the one compression processing unit 236 quantizes the image information of the plurality of feature regions and the image information of the background region with different quantization coefficients, respectively, thereby converting the images of the plurality of feature regions and the images of the background region. They may be compressed with different strengths. Also, an image obtained by converting a plurality of feature region images and a background region image into images of different image quality is supplied to one compression processing unit 236, and the one compression processing unit 236 includes a plurality of feature region images and Each image in the background area may be compressed. Further, as described above, one compression processing unit 236 quantizes with a different quantization coefficient for each region, or one compression processing unit 236 compresses an image converted into a different image quality for each region. The compression processing unit 236 may compress the entire one image, or may compress each of the images divided by the image dividing unit 232 as described with reference to FIG. When one compression processing unit 236 compresses the entire one image, the dividing process by the image dividing unit 232 and the fixed value processing by the fixed value converting unit 234 do not have to be performed. The image dividing unit 232 and the fixed value converting unit 234 may not be provided.
図4は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮画像取得部301、対応付け解析部302、伸張制御部310、伸張部320、外部情報取得部380、および画像処理部330を備える。伸張部320は、複数の復号器322a−d(以下、復号器322と総称する。)を有する。 FIG. 4 shows an example of a block configuration of the image processing apparatus 170. The image processing apparatus 170 includes a compressed image acquisition unit 301, an association analysis unit 302, an expansion control unit 310, an expansion unit 320, an external information acquisition unit 380, and an image processing unit 330. The decompression unit 320 includes a plurality of decoders 322a-d (hereinafter collectively referred to as decoders 322).
圧縮画像取得部301は、画像処理装置170により圧縮された圧縮動画を取得する。具体的には、圧縮画像取得部301は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部301は、特徴領域情報が付帯された圧縮動画を取得する。 The compressed image acquisition unit 301 acquires the compressed moving image compressed by the image processing device 170. Specifically, the compressed image acquisition unit 301 acquires a compressed moving image including a plurality of feature area moving images and a background area moving image. More specifically, the compressed image acquisition unit 301 acquires a compressed moving image with feature area information attached thereto.
対応付け解析部302は、圧縮動画を、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部320に供給する。また、対応付け解析部302は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部310および画像処理部330に供給する。 The association analysis unit 302 separates the compressed moving image into a plurality of feature region moving images, a background region moving image, and feature region information, and supplies the plurality of feature region moving images and background region moving images to the decompressing unit 320. Also, the association analysis unit 302 analyzes the feature region information and supplies the feature region position and the feature type to the extension control unit 310 and the image processing unit 330.
伸張制御部310は、対応付け解析部302から取得した特徴領域の位置および特徴の種類に応じて、伸張部320による伸張処理を制御する。例えば、伸張制御部310は、特徴領域の位置および特徴の種類に応じて圧縮部240が動画の各領域を圧縮した圧縮方式に応じて、伸張部320に圧縮動画が示す動画の各領域を伸張させる。 The decompression control unit 310 controls the decompression processing by the decompression unit 320 according to the position of the feature region and the feature type acquired from the association analysis unit 302. For example, the decompression control unit 310 decompresses each region of the moving image indicated by the compressed moving image to the decompressing unit 320 according to a compression method in which the compression unit 240 compresses each region of the moving image according to the position of the feature region and the type of feature. Let
復号器322は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器322a、復号器322b、復号器322c、および復号器322dは、それぞれ第1特徴領域動画、第2特徴領域動画、第3特徴領域動画、および背景領域動画を復号する。 The decoder 322 decodes one of the plurality of encoded characteristic area moving images and background area moving images. Specifically, the decoder 322a, the decoder 322b, the decoder 322c, and the decoder 322d decode the first feature region moving image, the second feature region moving image, the third feature region moving image, and the background region moving image, respectively.
画像処理部330は、伸張部320によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の動画を生成する。具体的には、画像処理部330は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。なお、画像処理部330は、特徴領域を背景領域より高画質化した表示動画を生成してもよい。 The image processing unit 330 combines the plurality of feature area moving images and the background area moving image expanded by the expansion unit 320 to generate one moving image. Specifically, the image processing unit 330 generates one display moving image by combining the image of the feature region on the captured image included in the plurality of feature region moving images with the captured image included in the background region moving image. . Note that the image processing unit 330 may generate a display moving image in which the characteristic area has a higher image quality than the background area.
そして、画像処理部330は、対応付け解析部302から取得した特徴領域情報および表示動画を表示装置180または画像DB175に出力する。なお、画像DB175は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。 Then, the image processing unit 330 outputs the feature area information and the display moving image acquired from the association analysis unit 302 to the display device 180 or the image DB 175. The image DB 175 associates the position of the feature region indicated by the feature region information, the feature type of the feature region, and the number of feature regions with the information for identifying the captured image included in the display moving image, and the non-volatile memory such as a hard disk. May be recorded on the recording medium.
なお、外部情報取得部380は、画像処理部330における画像処理に用いるデータを、画像処理装置170の外部から取得する。画像処理部330は、外部情報取得部380が取得したデータを用いて画像処理する。外部情報取得部380が取得するデータについては、図10に関連して説明する。 Note that the external information acquisition unit 380 acquires data used for image processing in the image processing unit 330 from the outside of the image processing apparatus 170. The image processing unit 330 performs image processing using the data acquired by the external information acquisition unit 380. Data acquired by the external information acquisition unit 380 will be described with reference to FIG.
図5は、圧縮部240のブロック構成の他の一例を示す。本構成における圧縮部240は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。 FIG. 5 shows another example of the block configuration of the compression unit 240. The compression unit 240 in this configuration compresses a plurality of captured images by a spatial scalable encoding process corresponding to the type of feature.
本構成における圧縮部240は、画質変換部510、差分処理部520、および符号化部530を有する。差分処理部520は、複数の階層間差分処理部522a−d(以下、階層間差分処理部522と総称する。)を含む。符号化部530は、複数の符号器532a−d(以下、符号器532と総称する。)を含む。 The compression unit 240 in this configuration includes an image quality conversion unit 510, a difference processing unit 520, and an encoding unit 530. The difference processing unit 520 includes a plurality of inter-layer difference processing units 522a-d (hereinafter collectively referred to as inter-layer difference processing units 522). Encoding section 530 includes a plurality of encoders 532a-d (hereinafter collectively referred to as encoders 532).
画質変換部510は、画像取得部250から複数の撮像画像を取得する。また、画質変換部510は、特徴領域特定部203が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部510は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部510は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。 The image quality conversion unit 510 acquires a plurality of captured images from the image acquisition unit 250. In addition, the image quality conversion unit 510 acquires information specifying the feature region detected by the feature region specifying unit 203 and information specifying the type of feature of the feature region. Then, the image quality conversion unit 510 duplicates the captured image, and generates captured images of the number of types of features in the feature area. Then, the image quality conversion unit 510 converts the generated captured image into an image having a resolution corresponding to the type of feature.
例えば、画質変換部510は、背景領域に応じた解像度に変換された撮像画像(以後、低解像度画像と呼ぶ。)、第1の特徴の種類に応じた第1解像度に変換された撮像画像(以後、第1解像度画像と呼ぶ。)、第2の特徴の種類に応じた第2解像度に変換された撮像画像(以後、第2解像度画像と呼ぶ。)、および第3の特徴の種類に応じた第3解像度に変換された撮像画像(以後、第3解像度画像と呼ぶ。)を生成する。なお、ここでは、第1解像度画像は低解像度画像より解像度が高く、第2解像度画像は第1解像度画像より解像度が高く、第3解像度画像は第2解像度画像より解像度が高いとする。 For example, the image quality conversion unit 510 has a captured image converted to a resolution corresponding to the background area (hereinafter referred to as a low resolution image), and a captured image converted to the first resolution corresponding to the type of the first feature ( Hereinafter, referred to as a first resolution image), a captured image converted to a second resolution corresponding to the second feature type (hereinafter referred to as a second resolution image), and a third feature type. The captured image converted to the third resolution (hereinafter referred to as a third resolution image) is generated. Here, it is assumed that the first resolution image has a higher resolution than the low resolution image, the second resolution image has a higher resolution than the first resolution image, and the third resolution image has a higher resolution than the second resolution image.
そして、画質変換部510は、低解像度画像、第1解像度画像、第2解像度画像、および第3解像度画像を、それぞれ階層間差分処理部522d、階層間差分処理部522a、階層間差分処理部522b、および階層間差分処理部522cに供給する。なお、画質変換部510は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部522のそれぞれに動画を供給する。 Then, the image quality conversion unit 510 converts the low resolution image, the first resolution image, the second resolution image, and the third resolution image into the inter-layer difference processing unit 522d, the inter-layer difference processing unit 522a, and the inter-layer difference processing unit 522b, respectively. And to the inter-layer difference processing unit 522c. The image quality conversion unit 510 supplies a moving image to each of the inter-layer difference processing units 522 by performing the above-described image quality conversion processing on each of the plurality of captured images.
なお、画質変換部510は、特徴領域の特徴の種類に応じて、階層間差分処理部522のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部510は、階層間差分処理部522aに供給する動画より低いフレームレートの動画を階層間差分処理部522dに供給してよい。また、画質変換部510は、階層間差分処理部522bに供給する動画より低いフレームレートの動画を階層間差分処理部522aに供給してよく、階層間差分処理部522cに供給する動画より低いフレームレートの動画を階層間差分処理部522bに供給してよい。なお、画質変換部510は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部522に供給する動画のフレームレートを変換してよい。 Note that the image quality conversion unit 510 may convert the frame rate of the moving image supplied to each of the inter-layer difference processing unit 522 in accordance with the feature type of the feature region. For example, the image quality conversion unit 510 may supply, to the inter-layer difference processing unit 522d, a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 522a. In addition, the image quality conversion unit 510 may supply a moving image having a lower frame rate than the moving image supplied to the inter-layer difference processing unit 522b to the inter-layer difference processing unit 522a, and a frame lower than the moving image supplied to the inter-layer difference processing unit 522c. The rate movie may be supplied to the inter-tier difference processing unit 522b. Note that the image quality conversion unit 510 may convert the frame rate of the moving image supplied to the inter-layer difference processing unit 522 by thinning out the captured image according to the feature type of the feature region.
階層間差分処理部522dおよび符号器532dは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部522は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器532dは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。 The inter-layer difference processing unit 522d and the encoder 532d predictively encode a background area moving image including a plurality of low-resolution images. Specifically, the inter-layer difference processing unit 522 generates a difference image from a predicted image generated from another low-resolution image. Then, the encoder 532d quantizes the transform coefficient obtained by converting the difference image into a spatial frequency component, and encodes the quantized transform coefficient by entropy coding or the like. Note that such predictive encoding processing may be performed for each partial region of the low-resolution image.
また、階層間差分処理部522aは、画質変換部510から供給された複数の第1解像度画像を含む第1特徴領域動画を予測符号化する。同様に、階層間差分処理部522bおよび階層間差分処理部522cは、それぞれ複数の第2解像度画像を含む第2特徴領域動画および複数の第3解像度画像を含む第3特徴領域動画を予測符号化する。以下に、階層間差分処理部522aおよび符号器532aの具体的な動作について説明する。 Further, the inter-layer difference processing unit 522a predictively encodes the first feature region moving image including the plurality of first resolution images supplied from the image quality conversion unit 510. Similarly, the inter-layer difference processing unit 522b and the inter-layer difference processing unit 522c each predictively encode a second feature area moving image including a plurality of second resolution images and a third feature area moving image including a plurality of third resolution images. To do. Hereinafter, specific operations of the inter-layer difference processing unit 522a and the encoder 532a will be described.
階層間差分処理部522aは、符号器532dによる符号化後の第1解像度画像を復号して、復号した画像を第1解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部522aは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部522aは、背景領域における差分値を0にする。そして、符号器532aは、差分画像を符号器532dと同様に符号化する。なお、階層間差分処理部522aおよび符号器532aによる符号化処理は、第1解像度画像の部分領域毎に施されてよい。 The inter-layer difference processing unit 522a decodes the first resolution image encoded by the encoder 532d, and expands the decoded image to an image having the same resolution as the first resolution. Then, the inter-layer difference processing unit 522a generates a difference image between the enlarged image and the low resolution image. At this time, the inter-layer difference processing unit 522a sets the difference value in the background area to zero. Then, the encoder 532a encodes the difference image in the same manner as the encoder 532d. Note that the encoding processing by the inter-layer difference processing unit 522a and the encoder 532a may be performed for each partial region of the first resolution image.
なお、階層間差分処理部522aは、第1解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第1解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部522aは、他の第1解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部522aは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。 Note that, when the first resolution image is encoded, the inter-layer difference processing unit 522a calculates the code amount predicted when the difference image with the low resolution image is encoded, and the other first resolution image. The amount of code predicted when the difference image between the generated prediction image and the prediction image is encoded is compared. In the case where the latter code amount is smaller, the inter-layer difference processing unit 522a generates a difference image from the predicted image generated from the other first resolution image. In addition, the inter-layer difference processing unit 522a, when it is predicted that the code amount is smaller when encoded without taking the difference from the low-resolution image or the predicted image, It is not necessary to take a difference between them.
また、階層間差分処理部522aは、背景領域における差分値を0にしなくてもよい。この場合、符号器532aは、特徴領域以外の領域における差分情報に対する符号化後のデータを0にしてもよい。例えば、符号器532aは、周波数成分に変換した後の変換係数を0にしてよい。なお、階層間差分処理部522dが予測符号化した場合の動きベクトル情報は、階層間差分処理部522aに供給される。階層間差分処理部522aは、階層間差分処理部522dから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。 Further, the inter-layer difference processing unit 522a may not set the difference value in the background area to zero. In this case, the encoder 532a may set the encoded data for the difference information in a region other than the feature region to zero. For example, the encoder 532a may set the conversion coefficient after conversion to a frequency component to zero. Note that the motion vector information when the inter-layer difference processing unit 522d performs predictive encoding is supplied to the inter-layer difference processing unit 522a. The inter-layer difference processing unit 522a may calculate a motion vector for a predicted image using the motion vector information supplied from the inter-layer difference processing unit 522d.
なお、階層間差分処理部522bおよび符号器532bの動作は、第2解像度画像を符号化するという点、および第2解像度画像を符号化する場合に、符号器532aによる符号化後の第1解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522bおよび符号器532bの動作は階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部522cおよび符号器532cの動作は、第3解像度画像を符号化するという点、および第3解像度画像を符号化を符号化する場合に、符号器532bによる符号化後の第2解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。 Note that the operations of the inter-layer difference processing unit 522b and the encoder 532b are that the second resolution image is encoded, and the first resolution after encoding by the encoder 532a when the second resolution image is encoded. The operations of the inter-layer difference processing unit 522b and the encoder 532b are substantially the same as the operations of the inter-layer difference processing unit 522a and the encoder 532a, except that the difference from the image may be taken. To do. Similarly, the operations of the inter-layer difference processing unit 522c and the encoder 532c are that the third resolution image is encoded, and when the third resolution image is encoded, after the encoding by the encoder 532b. Except for the fact that a difference from the second resolution image may be obtained, the operation is substantially the same as the operation of the inter-layer difference processing unit 522a and the encoder 532a, and thus the description thereof is omitted.
以上説明したように、画質変換部510は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部530は、特徴領域差分画像および低画質画像をそれぞれ符号化する。 As described above, the image quality conversion unit 510 generates, from each of the plurality of captured images, a low image quality image with a low image quality and a feature region image with higher image quality than the low image quality at least in the feature region. Then, the difference processing unit 520 generates a feature region difference image indicating a difference image between the feature region image in the feature region image and the feature region image in the low-quality image. Then, the encoding unit 530 encodes the feature region difference image and the low quality image.
また、画質変換部510は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部520は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。 In addition, the image quality conversion unit 510 generates a low-quality image with reduced resolution from a plurality of captured images, and the difference processing unit 520 includes a feature region image in the feature region image and a feature region image in the low-quality image. A feature region difference image between the image and the image enlarged is generated. Further, the difference processing unit 520 has a spatial frequency component in which the difference between the feature region image and the enlarged image in the feature region is converted into the spatial frequency region, and the data amount of the spatial frequency component is in the region other than the feature region. A reduced feature area difference image is generated.
以上説明したように、圧縮部240は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部240による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。なお、画像処理装置170がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。 As described above, the compressing unit 240 encodes hierarchically by encoding image differences between a plurality of layers having different resolutions. As is clear from this, a part of the compression method by the compression unit 240 of this configuration is H.264. It is clear that a compression scheme according to H.264 / SVC is included. Note that when the image processing apparatus 170 decompresses such a layered compressed moving image, the moving image data of each layer is decoded, and the difference is taken for the region encoded by the inter-layer difference. The captured image having the original resolution can be generated by the addition process with the captured image decoded in the hierarchy.
図6は、特徴領域特定部203のブロック構成の一例を示す。特徴領域特定部203は、第1特徴領域特定部610、第2特徴領域特定部620、領域推定部630、高画質化領域決定部640、パラメータ格納部650、および画像生成部660を有する。第2特徴領域特定部620は、部分領域判断部622および特徴領域判断部624を含む。 FIG. 6 shows an example of a block configuration of the feature area specifying unit 203. The feature region specifying unit 203 includes a first feature region specifying unit 610, a second feature region specifying unit 620, a region estimating unit 630, a high image quality region determining unit 640, a parameter storing unit 650, and an image generating unit 660. Second feature region specifying unit 620 includes a partial region determination unit 622 and a feature region determination unit 624.
第1特徴領域特定部610は、画像取得部250から動画に含まれる動画構成画像である撮像画像を取得する。第1特徴領域特定部610は、撮像画像から特徴領域を特定する。第1特徴領域特定部610は、図2に関連して特徴領域特定部203の動作として説明した特徴領域の検出方法を用いて特徴領域を検出することにより、撮像画像から特徴領域を特定してよい。 The first feature region specifying unit 610 acquires a captured image that is a moving image constituent image included in the moving image from the image acquisition unit 250. The first feature region specifying unit 610 specifies a feature region from the captured image. The first feature region specifying unit 610 specifies the feature region from the captured image by detecting the feature region using the feature region detection method described as the operation of the feature region specifying unit 203 in relation to FIG. Good.
画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成する。第2特徴領域特定部620は、高画質画像から特徴領域を探索する。第1特徴領域特定部610および第2特徴領域特定部620が特定した特徴領域は、いずれも特徴領域特定部203が特定した特徴領域として圧縮制御部210に供給される。 The image generation unit 660 generates, from the captured image, a high-quality image obtained by improving the image quality of a region that is more likely to be specified as the feature region among the regions that are not specified as the feature region by the first feature region specifying unit 610. To do. The second feature area specifying unit 620 searches for a feature area from the high-quality image. The feature regions specified by the first feature region specifying unit 610 and the second feature region specifying unit 620 are all supplied to the compression control unit 210 as the feature regions specified by the feature region specifying unit 203.
なお、第2特徴領域特定部620は、高画質画像から、第1特徴領域特定部610より詳細に特徴領域を探索してよい。例えば、第2特徴領域特定部620は、第1特徴領域特定部610が特徴領域を特定する検出精度より高精度で特徴領域を検出する検出器により実装されてよい。より具体的には、第1特徴領域特定部610および第2特徴領域特定部620が特徴領域を検出する検出器により実装される場合、第1特徴領域特定部610として実装する検出器の検出精度より高精度に検出することができる検出器により第2特徴領域特定部620が実装されてよい。 Note that the second feature area specifying unit 620 may search for a feature area in more detail than the first feature area specifying unit 610 from the high-quality image. For example, the second feature region specifying unit 620 may be implemented by a detector that detects the feature region with higher accuracy than the detection accuracy with which the first feature region specifying unit 610 specifies the feature region. More specifically, when the first feature region specifying unit 610 and the second feature region specifying unit 620 are implemented by a detector that detects a feature region, the detection accuracy of the detector that is implemented as the first feature region specifying unit 610 The second feature region specifying unit 620 may be implemented by a detector that can detect with higher accuracy.
なお、第2特徴領域特定部620は、入力画像から、第1特徴領域特定部610より詳細に特徴領域を探索してよい。例えば、第2特徴領域特定部620は、第1特徴領域特定部610が特徴領域を特定する検出精度より高精度で特徴領域を検出する検出器により実装されてよい。より具体的には、第1特徴領域特定部610および第2特徴領域特定部620が特徴領域を検出する検出器により実装される場合、第1特徴領域特定部610を実装する検出器の検出精度より高精度に検出することができる検出器により第2特徴領域特定部620が実装されてよい。 Note that the second feature region specifying unit 620 may search for a feature region in more detail than the first feature region specifying unit 610 from the input image. For example, the second feature region specifying unit 620 may be implemented by a detector that detects the feature region with higher accuracy than the detection accuracy with which the first feature region specifying unit 610 specifies the feature region. More specifically, when the first feature region specifying unit 610 and the second feature region specifying unit 620 are implemented by a detector that detects the feature region, the detection accuracy of the detector that implements the first feature region specifying unit 610 The second feature region specifying unit 620 may be implemented by a detector that can detect with higher accuracy.
なお、画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより優先的に高画質化した高画質画像を、撮像画像から生成してよい。また、画像生成部660は、撮像画像に対する画像処理により、高画質画像を生成してよい。 The image generation unit 660 generates a high-quality image obtained by preferentially increasing the image quality of a region that is more likely to be specified as a feature region among regions that are not specified as the feature region by the first feature region specifying unit 610. The image may be generated from the captured image. Further, the image generation unit 660 may generate a high quality image by image processing on the captured image.
また、画像生成部660は、第1特徴領域特定部610が特徴領域を特定した後に、第1特徴領域特定部610により特徴領域として特定されなかった領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成してよい。このように、「第1特徴領域特定部610により特徴領域として特定されない領域」とは、第1特徴領域特定部610が特定した段階においては、第1特徴領域特定部610により特徴領域として特定されなかった領域であってよい。この場合、第2特徴領域特定部620により、特徴領域が再度探索されることになる。 In addition, the image generation unit 660 may be identified as a feature region among regions that are not identified as feature regions by the first feature region identification unit 610 after the first feature region identification unit 610 identifies the feature region. A high-quality image obtained by improving the image quality of a higher region may be generated from the captured image. Thus, the “region that is not specified as the feature region by the first feature region specifying unit 610” is specified as the feature region by the first feature region specifying unit 610 at the stage of specification by the first feature region specifying unit 610. It may be an area that did not exist. In this case, the second feature region specifying unit 620 searches for the feature region again.
他にも、「第1特徴領域特定部610による特徴領域として特定されない領域」とは、第1特徴領域特定部610が特定していない段階においては、第1特徴領域特定部610により特定されないことが予測される領域であってよい。例えば、第1特徴領域特定部610が予め定められた条件に適合する領域を特徴領域として検出する場合において、「第1特徴領域特定部610による特徴領域として特定されない領域」とは、当該条件に適合しない領域であってよい。画像生成部660は、第1特徴領域特定部610が特徴領域を特定していない段階で、高画質画像を生成してよい。 In addition, the “region not specified as the feature region by the first feature region specifying unit 610” is not specified by the first feature region specifying unit 610 when the first feature region specifying unit 610 has not specified. May be a predicted region. For example, when the first feature region specifying unit 610 detects a region that meets a predetermined condition as a feature region, the “region that is not specified as a feature region by the first feature region specifying unit 610” It may be a non-conforming area. The image generation unit 660 may generate a high-quality image when the first feature region specifying unit 610 has not specified a feature region.
なお、本ブロック図では、第1特徴領域特定部610および第2特徴領域特定部620は、異なる機能ブロックで示されているが、単一の機能要素で実装され得ることは当然である。例えば、第1特徴領域特定部610および第2特徴領域特定部620は、特徴領域検出用の電気回路などのハードウェア要素、特徴領域検出用のソフトウェアなどのソフトウェア要素などを、少なくとも一部共有することができる。 In the present block diagram, the first feature region specifying unit 610 and the second feature region specifying unit 620 are shown as different functional blocks, but it is natural that they can be implemented with a single functional element. For example, the first feature region specifying unit 610 and the second feature region specifying unit 620 share at least a part of hardware elements such as a feature region detecting electric circuit, software elements such as feature region detecting software, and the like. be able to.
なお、上記において、画像生成部660が入力画像を高画質化した画像を生成する場合を例に挙げて説明したが、画像生成部660は、第1特徴領域特定部610が特徴領域を特定する特徴領域特定処理の対象とした画像より高画質な画像を生成して、画像生成部660に提供してよい。例えば、第1特徴領域特定部610が、入力画像に所定の画像処理を施して特徴領域を特定する場合に、画像生成部660は、当該画像処理より得られる画像より高画質な画像を生成して、第2特徴領域特定部620に提供してよい。 In the above description, the case where the image generation unit 660 generates an image with a high quality image of the input image has been described as an example. However, in the image generation unit 660, the first feature region specifying unit 610 specifies the feature region. An image with higher image quality than the image targeted for the feature area specifying process may be generated and provided to the image generation unit 660. For example, when the first feature region specifying unit 610 performs predetermined image processing on the input image to specify the feature region, the image generation unit 660 generates an image with higher image quality than the image obtained by the image processing. The second feature area specifying unit 620 may be provided.
このように、本実施形態における高画質画像とは、第1特徴領域特定部610が特徴領域特定処理に用いる画像より高画質な画像であればよく、入力画像より高画質な画像と入力画像より低画質な画像のいずれをも含む。このように、画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域を、特徴領域として特定される可能性に応じた画質に変更した高画質画像を、入力画像から生成する。また、画像生成部660は、特徴領域として特定される可能性に応じた精度の画質の高画質画像を生成してよい。なお、本実施形態における高画質画像は、この発明における画質変更画像の一例とみなすことができる。 As described above, the high-quality image in the present embodiment may be an image with a higher image quality than the image used by the first feature region specifying unit 610 for the feature region specifying process. Includes any low-quality image. As described above, the image generation unit 660 generates, from the input image, a high-quality image in which the region that is not specified as the feature region by the first feature region specifying unit 610 is changed to the image quality according to the possibility of being specified as the feature region. To do. In addition, the image generation unit 660 may generate a high-quality image having an image quality with accuracy according to the possibility of being identified as a feature region. Note that the high-quality image in the present embodiment can be regarded as an example of the image-quality-changed image in the present invention.
領域推定部630は、撮像画像において特徴領域として特定されるべき領域を推定する。例えば、特徴領域特定部203が、動画において動くオブジェクトの領域を特徴領域として特定すべき場合に、領域推定部630は、動画において動くオブジェクトが存在する領域を推定する。例えば、領域推定部630は、同じ動画に含まれる動画構成画像としての他の1以上の撮像画像から抽出された動くオブジェクトの位置、他の撮像画像が撮像されたタイミングなどに基づき、動くオブジェクトが存在する位置を推定する。そして、領域推定部630は、推定した位置を含む所定の大きさの領域を、動画において動くオブジェクトが存在する領域として推定してよい。 The region estimation unit 630 estimates a region to be specified as a feature region in the captured image. For example, when the feature area specifying unit 203 should specify the area of the moving object in the moving image as the feature area, the area estimating unit 630 estimates the area where the moving object exists in the moving image. For example, the region estimation unit 630 determines whether a moving object is based on the position of a moving object extracted from one or more other captured images as moving image constituent images included in the same moving image, the timing at which another captured image is captured, and the like. Estimate the existing location. Then, the region estimation unit 630 may estimate a region having a predetermined size including the estimated position as a region where a moving object exists in the moving image.
この場合、第1特徴領域特定部610は、撮像画像における領域推定部630が推定した領域から、動くオブジェクトの領域を特徴領域として特定する。そして、画像生成部660は、領域推定部630が推定した領域のうち、第1特徴領域特定部610により動くオブジェクトの領域が特定されなかった領域をより高画質にした高画質画像を生成してよい。 In this case, the first feature region specifying unit 610 specifies the region of the moving object as the feature region from the regions estimated by the region estimation unit 630 in the captured image. Then, the image generation unit 660 generates a high-quality image in which the region in which the moving object region is not specified by the first feature region specifying unit 610 among the regions estimated by the region estimation unit 630 is improved in quality. Good.
これにより、動くオブジェクトが存在する可能性が高い領域から、動くオブジェクトが検出できなかった場合に、再探索により動くオブジェクトを抽出することができる可能性が高まる。このように、特徴領域特定部203において特徴領域の検出もれが生じる確率を低減することができる。 This increases the possibility that a moving object can be extracted by re-searching when a moving object cannot be detected from an area where there is a high possibility that a moving object exists. In this way, the probability of feature region detection leaking in the feature region specifying unit 203 can be reduced.
部分領域判断部622は、特定の画像領域において予め定められた位置に存在する1以上の部分領域の画像が、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部624は、部分領域判断部622による判断結果に基づき、特定の画像領域が特徴領域であるか否かを判断する。例えば、特定の画像領域が特徴領域であるか否かを判断する場合に、部分領域判断部622は、特定の画像領域上の異なる複数の部分領域のそれぞれに対して、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部624は、否の判断結果が得られた部分領域の数が予め定められた値より小さい場合に、特定の画像領域が特徴領域であると判断する。 The partial area determination unit 622 determines whether or not images of one or more partial areas existing at predetermined positions in a specific image area meet predetermined conditions. Then, the feature region determination unit 624 determines whether the specific image region is a feature region based on the determination result by the partial region determination unit 622. For example, when determining whether or not a specific image region is a feature region, the partial region determination unit 622 determines a predetermined condition for each of a plurality of different partial regions on the specific image region. It is determined whether or not it is suitable. The feature region determination unit 624 determines that the specific image region is a feature region when the number of partial regions for which a negative determination result is obtained is smaller than a predetermined value.
特定の画像領域が特徴領域であるか否かを判断する場合に、第2特徴領域特定部620が、当該特定の画像領域において予め定められた位置に存在する1以上の部分領域に対して上述の処理により判断する場合に、画像生成部660は、当該特定の画像領域を高画質化した高画質画像を生成する場合において、当該1以上の部分領域を高画質化してよい。これにより、特徴領域検出処理に有効な領域だけ高画質化することができるので、特徴領域の再検出処理にかかる演算量を低減することができる。 When determining whether or not a specific image region is a feature region, the second feature region specifying unit 620 described above with respect to one or more partial regions existing at predetermined positions in the specific image region. In the determination by the above process, the image generation unit 660 may improve the image quality of the one or more partial regions when generating a high-quality image in which the image quality of the specific image region is improved. As a result, it is possible to improve the image quality of only the region effective for the feature region detection process, and thus it is possible to reduce the amount of calculation required for the feature region re-detection process.
なお、高画質化領域決定部640は、画像生成部660が高画質化する領域を決定する。具体的には、高画質化領域決定部640は、画像生成部660が高画質化する領域を、当該領域が特徴領域として特定される可能性がより低い場合に、より広く決定する。画像生成部660は、高画質化領域決定部640が決定した領域をより高画質にした高画質画像を生成する。これにより、再探索により動くオブジェクトを抽出することができる可能性を高めることができ、特徴領域特定部203において特徴領域の検出もれが生じる確率を低減することができる。 The high image quality region determination unit 640 determines a region where the image generation unit 660 increases the image quality. Specifically, the high image quality region determination unit 640 determines a region where the image generation unit 660 increases the image quality when the possibility that the region is specified as a feature region is lower. The image generation unit 660 generates a high quality image in which the region determined by the high image quality region determination unit 640 has a higher image quality. As a result, it is possible to increase the possibility that a moving object can be extracted by re-searching, and it is possible to reduce the probability that a feature region detection leak occurs in the feature region specifying unit 203.
パラメータ格納部650は、画像から抽出された特徴量に対応づけて、当該画像を高画質化すべく用いられる画像処理パラメータを格納する。そして、画像生成部660は、高画質化の対象領域から抽出された特徴量に適合する特徴量に対応づけてパラメータ格納部650が格納している画像処理パラメータを用いて、高画質化の対象領域を高画質化した高画質画像を生成する。パラメータ格納部650は、互いに類似する特徴量が抽出された複数の画像を教師画像として用いた学習により算出された画像処理パラメータを、当該類似する特徴量を代表する特徴量に対応づけて格納してよい。なお、画像処理パラメータとしては、高画質化対象の画像データに加算すべきより高い周波数領域の空間周波数成分を有する画像データであってよい。他にも、画像処理パラメータとしては、複数画素の画素値のデータまたは複数の特徴量成分のデータを入力データとした場合に、高画質画像を表すデータに入力データを変換するベクトル、行列、テンソル、n次元混合正規分布、n次元混合多項分布等を例示することができる。なお、ここでのnは、1以上の整数であるとする。画像処理パラメータについては、画像処理装置170の動作に関連して後述する。 The parameter storage unit 650 stores image processing parameters used to improve the image quality of the image in association with the feature amount extracted from the image. Then, the image generation unit 660 uses the image processing parameter stored in the parameter storage unit 650 in association with the feature amount that matches the feature amount extracted from the target region for high image quality, A high-quality image with a high-quality area is generated. The parameter storage unit 650 stores image processing parameters calculated by learning using a plurality of images from which similar feature amounts are extracted as teacher images, in association with feature amounts representing the similar feature amounts. It's okay. Note that the image processing parameter may be image data having a spatial frequency component in a higher frequency region to be added to the image data to be improved in image quality. Other image processing parameters include vectors, matrices, and tensors that convert input data into data representing a high-quality image when data of pixel values of a plurality of pixels or data of a plurality of feature quantity components is input data. , N-dimensional mixed normal distribution, n-dimensional mixed multinomial distribution, and the like. Here, n is an integer of 1 or more. The image processing parameters will be described later in relation to the operation of the image processing apparatus 170.
外部情報取得部280は、パラメータ格納部650が格納する画像処理パラメータおよび特徴量の少なくとも一方を、外部から取得する。パラメータ格納部650は、外部情報取得部280が取得した画像処理パラメータおよび特徴量の少なくとも一方を格納する。 The external information acquisition unit 280 acquires at least one of the image processing parameter and the feature amount stored in the parameter storage unit 650 from the outside. The parameter storage unit 650 stores at least one of the image processing parameter and the feature amount acquired by the external information acquisition unit 280.
図7は、特徴領域特定部203における特徴領域の特定処理の一例を示す。ここでは、撮像画像700における特徴領域を特定する処理を説明する。 FIG. 7 shows an example of a feature region specifying process in the feature region specifying unit 203. Here, processing for specifying a feature region in the captured image 700 will be described.
第1特徴領域特定部610は、撮像画像700の複数の画像領域に対して、予め定められた条件への適合度を算出する。そして、第1特徴領域特定部610は、撮像画像において予め定められた条件への適合度が第1閾値より大きい領域710−1および領域710−2を、特徴領域として特定する。 The first feature area specifying unit 610 calculates the degree of conformity to a predetermined condition for a plurality of image areas of the captured image 700. Then, the first feature region specifying unit 610 specifies regions 710-1 and 710-2 that have a degree of conformity to a predetermined condition in the captured image that is greater than the first threshold as feature regions.
そして、高画質化領域決定部640は、撮像画像において予め定められた条件への適合度が第1閾値以下である第2閾値より大きい、領域710−3および領域710−4を選択する。そして、高画質化領域決定部640は、領域710−3を含み、上記条件に対する領域710−3の画像の適合度に応じた大きさの領域710−5を、画像生成部660による高画質化の対象領域として決定する。また、高画質化領域決定部640は、領域710−4を含み、上記条件に対する領域710−4の画像の適合度に応じた大きさの領域710−6を、画像生成部660による高画質化の対象領域として決定する。 Then, the high image quality region determination unit 640 selects the region 710-3 and the region 710-4 whose degree of conformity to a predetermined condition in the captured image is larger than the second threshold value that is equal to or less than the first threshold value. Then, the image quality improvement region determination unit 640 includes the region 710-3, and the image generation unit 660 increases the image quality of the region 710-5 having a size according to the degree of suitability of the image of the region 710-3 with respect to the above condition. Is determined as the target area. The image quality improvement area determination unit 640 includes the area 710-4, and the image generation unit 660 increases the image quality of the area 710-6 having a size according to the degree of suitability of the image of the area 710-4 with respect to the above condition. Is determined as the target area.
本図の例では、領域710−3よりも領域710−4に対して小さい適合度が算出されているとして、高画質化領域決定部640は、領域710−4をより大きい拡大率で拡大した領域710−6を、画像生成部660による高画質化の対象領域として決定する。このように、高画質化領域決定部640は、条件への適合度が予め定められた第2閾値より大きい領域を適合度に応じた拡大率で拡大して得られた領域を、画像生成部660による高画質化の対象領域として決定する。 In the example of this figure, assuming that a smaller fitness is calculated for the area 710-4 than for the area 710-3, the high image quality area determination unit 640 expanded the area 710-4 with a larger enlargement ratio. The region 710-6 is determined as a target region for image quality improvement by the image generation unit 660. As described above, the high image quality region determination unit 640 expands a region having a degree of conformity to the condition larger than a predetermined second threshold with an enlargement ratio corresponding to the degree of conformity. This is determined as a target area for image quality improvement by 660.
そして、第2特徴領域特定部620は、高画質化された領域710−5および領域710−6の画像から、特徴領域を探索する。第2特徴領域特定部620は、第1特徴領域特定部610と同様の処理により、高画質化された領域710−5および領域710−6の画像から、上記条件に適合する領域を探索してよい。ここで、第2特徴領域特定部620が、高画質化された領域710−5の画像720において、領域722が上記条件に適合すると判断したとする。この場合、特徴領域特定部203は、第1特徴領域特定部610が特定した領域710−1および領域710−2に加えて、画像720上の領域722に対応する領域710−7を、特徴領域として特定する。 Then, the second feature region specifying unit 620 searches for the feature region from the images of the region 710-5 and the region 710-6 with high image quality. The second feature area specifying unit 620 searches for an area that satisfies the above conditions from the images of the area 710-5 and the area 710-6 that have been improved in image quality by the same processing as the first feature area specifying unit 610. Good. Here, it is assumed that the second feature region specifying unit 620 determines that the region 722 meets the above condition in the image 720 of the region 710-5 with high image quality. In this case, the feature region specifying unit 203 adds the region 710-7 corresponding to the region 722 on the image 720 to the feature region in addition to the region 710-1 and the region 710-2 specified by the first feature region specifying unit 610. As specified.
このように、画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、所定の条件への適合度がより大きい領域をより高画質にした高画質画像を、撮像画像から生成する。具体的には、画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、上記条件への適合度が予め定められた第2閾値より大きい領域をより高画質にした高画質画像を生成する。これにより、特徴領域である可能性が高い領域から、特徴領域が抽出される可能性を高めることができ、特徴領域の検出もれが生じる確率を低減することができる。 As described above, the image generation unit 660 captures a high-quality image in which a region having a higher degree of conformity to a predetermined condition among regions that are not specified as feature regions by the first feature region specifying unit 610 has higher image quality. Generate from image. Specifically, the image generation unit 660 increases the image quality of an area that is not specified as a feature area by the first feature area specifying unit 610 and that has a degree of conformance to the above condition that is greater than a predetermined second threshold. Generated high-quality images. As a result, it is possible to increase the possibility that a feature region is extracted from a region that is highly likely to be a feature region, and to reduce the probability that a feature region will be detected.
以上説明したように、第1特徴領域特定部610により特徴領域として特定された領域および高画質化の対象領域を除く領域は、特徴領域ではない非特徴領域と決定される。なお、第1特徴領域特定部610および第2特徴領域特定部620による特徴領域の特定結果、事前の試験結果、または事後の試験結果などに基づき、特徴領域ではない領域が特徴領域として特定される確率が予め定められた値より大きくなるよう第1閾値の値を設定してよい。これにより、第1特徴領域特定部610が特徴領域として特定した領域に、非特徴領域が含まれる可能性を低減することができる。非特徴領域についても第1閾値に近い適合度が算出される場合があるが、上記のように第1閾値を設定することにより、このような領域が特徴領域として誤検出されてしまう可能性を低減することができる。 As described above, the region specified as the feature region by the first feature region specifying unit 610 and the region excluding the target region for high image quality are determined as non-feature regions that are not feature regions. A region that is not a feature region is specified as a feature region based on the result of specifying the feature region by the first feature region specifying unit 610 and the second feature region specifying unit 620, the previous test result, or the subsequent test result. The first threshold value may be set so that the probability is greater than a predetermined value. Thereby, the possibility that the non-feature region is included in the region identified as the feature region by the first feature region identifying unit 610 can be reduced. The degree of fitness close to the first threshold value may also be calculated for the non-feature region, but setting the first threshold value as described above may cause such a region to be erroneously detected as a feature region. Can be reduced.
また、第1特徴領域特定部610および第2特徴領域特定部620による特徴領域の特定結果、事前の試験結果、または事後の試験結果などに基づき、特徴領域から算出された適合度が第2閾値以上になるよう第2閾値の値を設定してよい。これにより、第2閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性を低減することができる。特徴領域についても第2閾値に近い適合度が算出される場合があるが、上記のように第2閾値を設定することにより、このような領域が非特徴領域とされてしまう可能性を低減することができる。 In addition, based on the result of specifying the feature region by the first feature region specifying unit 610 and the second feature region specifying unit 620, the previous test result, or the subsequent test result, the fitness calculated from the feature region is the second threshold value. The value of the second threshold value may be set so as to be above. Thereby, it is possible to reduce the possibility that the feature region is included in the region in which the fitness level equal to or less than the second threshold is calculated. The degree of matching close to the second threshold value may be calculated for the feature region as well, but setting the second threshold value as described above reduces the possibility of such a region becoming a non-feature region. be able to.
一方、第1閾値および第2閾値の設定により、第2閾値より大きく第1閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性がある。特徴領域特定部203によると、このような領域については、高画質化されてから第2特徴領域特定部620により特徴領域が探索されるので、特徴領域と非特徴領域とを適切に切り分けることができ、特徴領域を検出し損ねてしまう確率および非特徴領域を特徴領域として検出してしまう確率のいずれをも低減することができる。このように、特徴領域特定部203によると、感度および特異度がともに高い特徴領域検出器を提供することができる。 On the other hand, there is a possibility that the feature region is included in the region in which the degree of conformance greater than the second threshold and less than or equal to the first threshold is calculated by setting the first threshold and the second threshold. According to the feature region specifying unit 203, since the second feature region specifying unit 620 searches for such a region after the image quality is improved, the feature region and the non-feature region can be appropriately separated. Both the probability of failing to detect a feature region and the probability of detecting a non-feature region as a feature region can be reduced. As described above, the feature region specifying unit 203 can provide a feature region detector having both high sensitivity and specificity.
なお、画像生成部660は、上記のように適合度と閾値との関係で高画質化処理の有無を決定することの他に、入力画像の少なくとも一部の画像領域を、上記条件への適合度に応じた高画質化精度で高画質化した高画質画像を生成してよい。この場合、高画質化精度は、適合度に応じた連続関数または不連続関数で定められてよい。 Note that the image generation unit 660 determines whether or not to perform high-quality processing based on the relationship between the degree of fitness and the threshold as described above, and applies at least a part of the image area of the input image to the above condition. A high-quality image with high image quality may be generated with high image quality accuracy according to the degree. In this case, the image quality improvement accuracy may be determined by a continuous function or a discontinuous function according to the fitness.
図8は、特徴領域特定部203における特徴領域の特定処理の他の一例を示す。ここでは特に、動画から動くオブジェクトの領域を特徴領域として特定する場合の特徴領域特定部203の処理の一例を示す。 FIG. 8 shows another example of the feature region specifying process in the feature region specifying unit 203. Here, in particular, an example of processing of the feature region specifying unit 203 when the region of the moving object from the moving image is specified as the feature region is shown.
第1特徴領域特定部610または第2特徴領域特定部620により、撮像画像800−1および撮像画像800−2において、それぞれ領域810−1および領域810−2が特徴領域として特定されているものとする。ここで、領域810−1および領域810−2には、同じ被写体が撮像されたオブジェクトが存在しているとする。 In the captured image 800-1 and the captured image 800-2, the region 810-1 and the region 810-2 are respectively identified as the feature regions by the first feature region specifying unit 610 or the second feature region specifying unit 620. To do. Here, it is assumed that an object in which the same subject is captured exists in the area 810-1 and the area 810-2.
この場合、領域推定部630は、領域810−1および領域810−2のそれぞれの画像上の位置、撮像画像800−1および撮像画像800−2のそれぞれが撮像されたタイミング、ならびに、撮像画像800−3が撮像されたタイミングに基づき、撮像画像800−3において、同じ被写体のオブジェクトが存在すべき領域として、領域810−3を決定する。例えば、領域推定部630は、領域810−1および領域810−2のそれぞれの画像上の位置、撮像画像800−1および撮像画像800−2のそれぞれが撮像されたタイミングから動くオブジェクトの画像領域上の速度を算出して、算出した速度、領域810−2の位置、および撮像画像800−2が撮像されたタイミングと撮像画像800−3が撮像されたタイミングとの間の時間差に基づき、同じ被写体のオブジェクトが存在すべき領域として領域810−3を決定する。 In this case, the region estimation unit 630 includes the positions on the images of the region 810-1 and the region 810-2, the timing at which each of the captured image 800-1 and the captured image 800-2 is captured, and the captured image 800. Based on the timing when -3 is imaged, an area 810-3 is determined as an area where an object of the same subject should exist in the captured image 800-3. For example, the region estimation unit 630 may be configured to display the position of the region 810-1 and the region 810-2 on the image and the image region of the object that moves from the timing when the captured image 800-1 and the captured image 800-2 are captured. Based on the calculated speed, the position of the area 810-2, and the time difference between the timing when the captured image 800-2 is captured and the timing when the captured image 800-3 is captured. The area 810-3 is determined as an area where the object of the image should exist.
第1特徴領域特定部610は、領域810−3から、動くオブジェクトを探索する。第1特徴領域特定部610により領域810−3から動くオブジェクトが検出されなかった場合に、画像生成部660は領域810−3を高画質化した高画質画像820−4を生成する。そして、第2特徴領域特定部620は、高画質画像820−4から動くオブジェクトを探索する。これにより、動くオブジェクトが検出される可能性が高い領域から当該オブジェクトを抽出される可能性を高めることができ、動くオブジェクトの検出もれが生じる確率を低減することができる。 The first feature region specifying unit 610 searches for a moving object from the region 810-3. When the moving object is not detected from the area 810-3 by the first feature area specifying unit 610, the image generation unit 660 generates a high-quality image 820-4 in which the area 810-3 is improved in image quality. Then, the second feature region specifying unit 620 searches for a moving object from the high-quality image 820-4. Accordingly, it is possible to increase the possibility that the object is extracted from the region where the moving object is likely to be detected, and it is possible to reduce the probability that the moving object is detected and leaked.
なお、画像生成部660は、領域810−3内のより中央の領域をより高画質化した高画質画像820−4を生成してもよい。これにより、動くオブジェクトが存在する確率の低い領域については高画質化の強度を低くすることができる。このため、全体を高強度で一様に高画質化する場合に比べて、高画質化にかかる演算量を低減することができる場合がある。 Note that the image generation unit 660 may generate a high-quality image 820-4 in which the central area in the area 810-3 has a higher image quality. As a result, it is possible to reduce the strength of image quality improvement in an area where the probability that a moving object exists is low. For this reason, there is a case where the amount of calculation required to improve the image quality can be reduced as compared with the case where the image quality is improved uniformly with high strength.
図9は、第2特徴領域特定部620による特徴領域の判断処理の一例を示す。第2特徴領域特定部620は、特定の画像領域900が特徴領域であるか否かを判断するにあたり、画像領域900内の所定の位置関係にある部分領域910−1〜4から、特徴量を抽出する。このとき、第2特徴領域特定部620は、部分領域910のそれぞれから、画像領域900内における部分領域910のそれぞれの位置に応じて予め定められた種類の特徴量を抽出する。 FIG. 9 shows an example of a feature region determination process by the second feature region specifying unit 620. When determining whether or not the specific image region 900 is a feature region, the second feature region specifying unit 620 obtains a feature amount from the partial regions 910-1 to 910-4 having a predetermined positional relationship in the image region 900. Extract. At this time, the second feature area specifying unit 620 extracts, from each of the partial areas 910, a feature amount of a predetermined type according to each position of the partial area 910 in the image area 900.
第2特徴領域特定部620は、予め定められた条件に対する部分領域910の画像から抽出された特徴量の適合度を、部分領域910毎に算出する。第2特徴領域特定部620は、部分領域910毎に算出した適合度に基づき、画像領域900が特徴領域であるか否かを判断する。第2特徴領域特定部620は、適合度の重み付き合計値が予め定められた値より大きい場合に、画像領域900が特徴領域であると判断してよい。また、第2特徴領域特定部620は、予め定められた値より大きい適合度が算出された部分領域910の数が予め定められた値より大きい場合に、画像領域900が特徴領域であると判断してもよい。 The second feature region specifying unit 620 calculates, for each partial region 910, the degree of suitability of the feature amount extracted from the image of the partial region 910 with respect to a predetermined condition. The second feature region specifying unit 620 determines whether or not the image region 900 is a feature region based on the degree of matching calculated for each partial region 910. The second feature region specifying unit 620 may determine that the image region 900 is a feature region when the weighted total value of the fitness is greater than a predetermined value. In addition, the second feature region specifying unit 620 determines that the image region 900 is a feature region when the number of partial regions 910 for which the degree of fitness greater than a predetermined value is calculated is greater than a predetermined value. May be.
なお、上述した特徴量の抽出から適合度算出までの処理は、画像フィルタにより実装され得る。また、当該処理は、弱識別器として実装され得る。また、部分領域910の位置は、特徴領域として抽出すべきオブジェクトの種類に応じて定められてよい。例えば人物の顔のオブジェクトを含む領域を特徴領域として検出すべき場合には、部分領域910は、人物の顔のオブジェクトに対して判別力が予め定められた値より高くなる位置に定められてよい。判別力が高いとは、人物の顔のオブジェクトに対しては判別結果が真となる確率が高く、人物の顔以外のオブジェクトに対しては判別結果が偽となる確率が高いことを意味してよい。 Note that the above-described processing from feature amount extraction to fitness calculation can be implemented by an image filter. Further, the processing can be implemented as a weak classifier. Further, the position of the partial area 910 may be determined according to the type of object to be extracted as the characteristic area. For example, when an area including a human face object is to be detected as a feature area, the partial area 910 may be set at a position where the discrimination power for a human face object is higher than a predetermined value. . High discrimination means that there is a high probability that the discrimination result is true for a human face object, and a high probability that the discrimination result is false for an object other than a human face. Good.
ここで、画像生成部660は、部分領域910以外の領域を高画質化せず、部分領域910だけを高画質化する。そして、上述したように、第2特徴領域特定部620は、高画質化された画像から特徴領域を抽出して、画像領域900が特徴領域であるか否かを判断する。これにより、高画質化する画像領域を限定しつつ特徴領域の検出確率を高めることができ、ひいては高速かつ高確率で特徴領域を検出することができる。なお、上記の説明では、第2特徴領域特定部620おける特徴領域の判断処理について説明したが、第1特徴領域特定部610も同じ処理により特徴領域であるか否かを判断してよい。 Here, the image generation unit 660 does not increase the image quality of the area other than the partial area 910, and increases the image quality of only the partial area 910. Then, as described above, the second feature area specifying unit 620 extracts the feature area from the high-quality image, and determines whether or not the image area 900 is a feature area. Thereby, it is possible to increase the detection probability of the feature region while limiting the image region to be improved in image quality, and thus it is possible to detect the feature region at high speed and with high probability. In the above description, the feature region determination processing in the second feature region specifying unit 620 has been described. However, the first feature region specifying unit 610 may determine whether or not it is a feature region by the same processing.
なお、第1特徴領域特定部610および第2特徴領域特定部620における処理は、複数の弱識別器により実装することができる。全N個の弱識別器を用いて実装する場合を例に挙げて以下に説明する。第1特徴領域特定部610においては、Nf個の弱識別器を用いて、特徴領域であるか否かが判別される。適合度は判別結果に基づき算出され、上述したように、適合度が第1閾値より大きい領域は特徴領域として決定され、適合度が第2閾値以下である領域は非特徴領域として決定される。 Note that the processes in the first feature region specifying unit 610 and the second feature region specifying unit 620 can be implemented by a plurality of weak classifiers. A description will be given below by taking as an example a case of mounting using all N weak classifiers. In the first feature region specifying unit 610, it is determined whether or not it is a feature region using Nf weak classifiers. The degree of fitness is calculated based on the discrimination result, and as described above, a region where the fitness is greater than the first threshold is determined as a feature region, and a region where the fitness is less than or equal to the second threshold is determined as a non-feature region.
適合度が第1閾値以下であり第2閾値より大きい領域は、画像生成部660により高画質化される。第2特徴領域特定部620においては、高画質化された画像は、第1特徴領域特定部610が用いたNf個の弱識別器と、当該Nf個の弱識別器以外のNb個の弱識別器とを用いて、特徴領域であるか否かが判別される。例えば、Nf+Nb個の弱識別器の各判別結果から算出された適合度に基づき、特徴領域であるか否かが判別されてよい。 The image quality is improved by the image generation unit 660 in a region where the fitness is less than or equal to the first threshold and greater than the second threshold. In the second feature region specifying unit 620, the high-quality image is obtained by Nf weak classifiers used by the first feature region specifying unit 610 and Nb weak classifiers other than the Nf weak classifiers. Is used to determine whether the region is a feature region. For example, it may be determined whether or not the region is a feature region based on the fitness calculated from the determination results of Nf + Nb weak classifiers.
なお、第1特徴領域特定部610により特徴領域として特定されなかった領域のうち、第1閾値より小さく第2閾値より大きい第3閾値と適合度との比較結果に応じて定まる複数の領域を、互い異なる処理で特徴領域が特定されてよい。例えば、第3閾値より大きい適合度が算出された領域については画像生成部660により高画質化せずに、第2特徴領域特定部620においてNf+Nb個の弱識別器により特徴領域であるか否かが判別されてよい。一方、第3閾値以下の適合度が算出された領域については画像生成部660により高画質化され、第2特徴領域特定部620においてNf+Nb個の弱識別器により特徴領域であるか否かが判別されてよい。 Among the regions that are not specified as the feature regions by the first feature region specifying unit 610, a plurality of regions that are determined according to the comparison result between the third threshold value that is smaller than the first threshold value and greater than the second threshold value and the fitness level, The feature region may be specified by different processes. For example, whether or not the region for which the degree of fitness greater than the third threshold is calculated is not a high-quality image by the image generation unit 660 and whether or not the second feature region specifying unit 620 is a feature region by Nf + Nb weak classifiers. May be determined. On the other hand, the image generation unit 660 increases the image quality of the region for which the fitness level equal to or less than the third threshold is calculated, and the second feature region specifying unit 620 determines whether the region is a feature region using Nf + Nb weak classifiers. May be.
なお、第2特徴領域特定部620の処理において用いられる弱識別器の数Nbは、適合度に応じて調整されてよい。例えば、適合度が小さいほど、第2特徴領域特定部620においてより多くの弱識別器を用いて特徴領域であるか否かが判別されてよい。以上説明したように、第2特徴領域特定部620は、適合度が低いほどより詳細に画質変更画像から特徴領域を探索してよい。なお、上記第1特徴領域特定部610および第2特徴領域特定部620の少なくとも一方における弱識別器構成としては、アダブーストによる弱識別器構成を例示することができる。 Note that the number Nb of weak classifiers used in the process of the second feature region specifying unit 620 may be adjusted according to the degree of fitness. For example, the smaller the matching degree, the second feature region specifying unit 620 may determine whether or not the feature region is a feature region using more weak classifiers. As described above, the second feature region specifying unit 620 may search for the feature region from the image quality-changed image in more detail as the fitness level is lower. In addition, as a weak discriminator structure in at least one of the said 1st feature area specific | specification part 610 and the 2nd feature area specific | specification part 620, the weak discriminator structure by Adaboost can be illustrated.
なお、第1特徴領域特定部610および第2特徴領域特定部620は、それぞれ多重解像度表現により構成された低解像度画像群から特徴領域を検出してもよい。この場合に、画像生成部660は、第1特徴領域特定部610における多重解像度化より高精度に多重解像度化することにより低解像度画像群を生成してよい。第1特徴領域特定部610における多重解像度化処理としては、バイキュービック法による縮小処理を例示することができる。また、第2特徴領域特定部620における多重解像度化処理としては、事前学習に基づく縮小処理を例示することができる。第2特徴領域特定部620は、原寸の画像と目標解像度の画像とを用いた学習により得られた画像処理パラメータを用いて、入力画像から低解像度画像群を生成してよい。なお、学習には、折り返し雑音がより小さい目標解像度の画像を用いることがより好ましい。例えば、異なる数の撮像素子を有する異なる撮像装置により得られた画像を学習に用いることができる。 Note that the first feature region specifying unit 610 and the second feature region specifying unit 620 may detect a feature region from a low-resolution image group configured by multi-resolution representation. In this case, the image generation unit 660 may generate a low-resolution image group by performing multi-resolution with higher accuracy than the multi-resolution by the first feature region specifying unit 610. As the multi-resolution processing in the first feature region specifying unit 610, reduction processing by the bicubic method can be exemplified. Further, as the multi-resolution processing in the second feature region specifying unit 620, a reduction process based on prior learning can be exemplified. The second feature region specifying unit 620 may generate a low-resolution image group from the input image using image processing parameters obtained by learning using the original image and the target resolution image. For learning, it is more preferable to use an image having a target resolution with smaller aliasing noise. For example, images obtained by different imaging devices having different numbers of imaging elements can be used for learning.
なお、図3、図6から図9に関連して説明した高画質化処理としては、高解像度化処理を例示することができる。すなわち、画像生成部660は、特徴領域として特定される可能性がより高い領域をより高解像度化した高画質画像を生成してよい。なお、高解像度化処理としては、後に説明する超解像処理を例示することができる。 As the image quality enhancement process described in relation to FIGS. 3 and 6 to 9, a high resolution process can be exemplified. That is, the image generation unit 660 may generate a high-quality image obtained by increasing the resolution of an area that is more likely to be identified as a feature area. An example of the resolution enhancement process is a super-resolution process described later.
また、高画質化処理としては、階調数を増加する多階調数化処理、色数を増加する多色数化処理を例示することができる。すなわち、画像生成部660は、特徴領域として特定される可能性がより高い領域をより多階調数化した高画質画像を生成してよい。また、画像生成部660は、特徴領域として特定される可能性がより高い領域をより多色数化した高画質画像を生成してよい。 Examples of the high image quality processing include multi-gradation processing that increases the number of gradations and multi-color processing that increases the number of colors. In other words, the image generation unit 660 may generate a high-quality image in which an area that is more likely to be identified as a feature area has a higher number of gradations. In addition, the image generation unit 660 may generate a high-quality image in which an area that is more likely to be identified as a feature area is made more multicolored.
なお、高画質化の対象となる撮像画像が動画の動画構成画像である場合、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズおよびモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化などの高画質化処理においては、他の撮像画像の画素値を用いて高画質化してもよい。例えば、撮像タイミングの違いによる動体の撮像位置のずれを利用することにより高画質化してもよい。すなわち、画像生成部660は、動画に含まれる動画構成画像である撮像画像および当該動画に含まれる他の動画構成画像を用いて、高画質画像を生成してよい。 In addition, when the captured image that is the target of high image quality is a moving image constituent image, artifacts such as high resolution, multiple colors, multiple gradations, noise reduction, block noise, and mosquito noise are reduced. In high image quality processing such as artifact reduction, blur reduction, sharpness, and high frame rate, image quality may be improved using pixel values of other captured images. For example, the image quality may be improved by using a shift in the imaging position of a moving object due to a difference in imaging timing. That is, the image generation unit 660 may generate a high-quality image using a captured image that is a moving image configuration image included in the moving image and another moving image configuration image included in the moving image.
なお、ノイズ低減化処理としては、複数の動画構成画像を用いた処理の他、特開2008−167949号公報、特開2008−167950号公報、特開2008−167948号公報、および特開2008−229161号公報に記載された処理を例示することができる。例えば、画像生成部660は、ノイズ量がより多い画像とノイズ量のより少ない画像とを用いた事前学習の結果を用いて、ノイズを低減することができる。本実施形態のように可視光で撮像された画像のノイズ量を低減する場合には、特開2008−167949号公報に記載されたように少線量で撮像した画像を事前学習に用いることに代えて、より少ない光量の環境光下で撮像した画像を事前学習に用いることができる。また、シャープネス化処理において、より高精度なシャープネス化処理としては、より大きいフィルタサイズのフィルタを用いた処理、より多くの方向にシャープネス化する処理を例示することができる。 As noise reduction processing, in addition to processing using a plurality of moving image constituent images, JP 2008-167949 A, JP 2008-167950 A, JP 2008-167948 A, and JP 2008- The process described in 229161 gazette can be illustrated. For example, the image generation unit 660 can reduce noise using the result of prior learning using an image with a larger amount of noise and an image with a smaller amount of noise. When reducing the noise amount of an image captured with visible light as in the present embodiment, instead of using an image captured with a small dose for pre-learning as described in Japanese Patent Application Laid-Open No. 2008-167949. Thus, an image captured under a smaller amount of ambient light can be used for pre-learning. In the sharpening process, examples of the higher-accuracy sharpening process include a process using a filter having a larger filter size and a process of sharpening in more directions.
図10は、画像処理装置170が有する画像処理部330のブロック構成の一例を示す。画像処理部330は、パラメータ格納部1010、属性特定部1020、特定オブジェクト領域検出部1030、パラメータ選択部1040、重み決定部1050、パラメータ生成部1060、および画像生成部1000を含む。 FIG. 10 illustrates an example of a block configuration of the image processing unit 330 included in the image processing apparatus 170. The image processing unit 330 includes a parameter storage unit 1010, an attribute specification unit 1020, a specific object region detection unit 1030, a parameter selection unit 1040, a weight determination unit 1050, a parameter generation unit 1060, and an image generation unit 1000.
パラメータ格納部1010は、被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像の属性を特定する。ここでいう入力画像とは、伸張部320により得られたフレーム画像であってよい。パラメータ選択部1040は、属性特定部1020により特定された属性により適合する属性に対応づけてパラメータ格納部1010が格納している複数の画像処理パラメータをより優先して選択する。画像生成部1000は、パラメータ選択部1040により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する。 The parameter storage unit 1010 stores a plurality of image processing parameters that respectively correspond to a plurality of attributes of the subject image and improve the image quality of the subject image of each attribute. The attribute specifying unit 1020 specifies the attribute of the subject image included in the input image. Here, the input image may be a frame image obtained by the decompressing unit 320. The parameter selection unit 1040 selects a plurality of image processing parameters stored in the parameter storage unit 1010 with higher priority in association with attributes that match the attributes specified by the attribute specification unit 1020. The image generation unit 1000 generates a high-quality image obtained by improving the image quality of the subject image included in the input image using the plurality of image processing parameters selected by the parameter selection unit 1040 together.
ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部1010は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する。 Here, as the attribute, the state of the subject such as the direction of the subject can be exemplified. That is, the parameter storage unit 1010 stores a plurality of image processing parameters in association with a plurality of attributes indicating the state of the subject captured as a subject image. The attribute specifying unit 1020 specifies the state of the subject captured as the subject image included in the input image from the subject image.
被写体の状態としては、撮像されたときの被写体の向きを例示することができる。すなわち、パラメータ格納部1010は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する。被写体の向きとは、被写体の一例としての人物の顔の向きであってよい。すなわち、パラメータ格納部1010は、被写体像として撮像された人物の顔の向きを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された人物の顔の向きを、当該被写体像から特定する。 The state of the subject can be exemplified by the orientation of the subject when the image is taken. That is, the parameter storage unit 1010 stores a plurality of image processing parameters in association with a plurality of attributes indicating the orientation of the subject captured as a subject image. The attribute specifying unit 1020 specifies the orientation of the subject captured as the subject image included in the input image from the subject image. The direction of the subject may be the direction of a person's face as an example of the subject. That is, the parameter storage unit 1010 stores a plurality of image processing parameters in association with a plurality of attributes indicating the orientation of a person's face captured as a subject image. The attribute specifying unit 1020 specifies the direction of the face of a person captured as a subject image included in the input image from the subject image.
その他、属性とは、被写体の種別であってもよい。すなわち、パラメータ格納部1010は、被写体像として撮像された被写体の種別を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された被写体の種別を、当該被写体像から特定する。 In addition, the attribute may be the type of the subject. That is, the parameter storage unit 1010 stores a plurality of image processing parameters in association with a plurality of attributes indicating the types of subjects captured as subject images. The attribute specifying unit 1020 specifies the type of the subject captured as the subject image included in the input image from the subject image.
ここで、被写体の種別とは、被写体としての人物の性別であってよい。すなわち、パラメータ格納部1010は、被写体像として撮像された人物の性別を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された人物の性別を、当該被写体像から特定する。他にも、被写体の種別とは、人物の年齢であってよい。すなわち、パラメータ格納部1010は、被写体像として撮像された人物の年齢を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。そして、属性特定部1020は、入力画像に含まれる被写体像として撮像された人物の年齢を、当該被写体像から特定する。その他、被写体の種別として、表情などを例示することができる。 Here, the type of subject may be the gender of the person as the subject. That is, the parameter storage unit 1010 stores a plurality of image processing parameters in association with a plurality of attributes indicating the gender of a person imaged as a subject image. The attribute specifying unit 1020 specifies the gender of a person captured as a subject image included in the input image from the subject image. In addition, the type of subject may be the age of a person. That is, the parameter storage unit 1010 stores a plurality of image processing parameters in association with a plurality of attributes indicating the age of a person captured as a subject image. Then, the attribute specifying unit 1020 specifies the age of the person imaged as the subject image included in the input image from the subject image. In addition, examples of the subject type include facial expressions.
被写体の向き、被写体の種別の他、被写体像の属性としては、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物の人種、撮像された人物が着用している着用物、照明状態などを例示することができる。着用物としては、めがね、サングラス、マスク、帽子など、人物が頭部に着用しているものを例示することができる。パラメータ格納部1010は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納してよい。この場合、属性特定部1020は、入力画像に含まれる被写体像として撮像された人物の対応する属性を、当該被写体像から特定する。 In addition to the orientation of the subject and the type of subject, the attributes of the subject image include facial expressions of the imaged person, gesture of the imaged person, posture of the imaged person, race of the imaged person, imaged person The wearing thing, the lighting state, etc. which are wearing can be illustrated. Examples of the wearing items include glasses, sunglasses, masks, hats, and the like worn by a person on the head. The parameter storage unit 1010 may store a plurality of image processing parameters in association with a plurality of attributes including at least one of these various attributes. In this case, the attribute specifying unit 1020 specifies the corresponding attribute of the person imaged as the subject image included in the input image from the subject image.
重み決定部1050は、入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する。そして、画像生成部1000は、重み決定部1050が決定した重みに基づいて、パラメータ選択部1040により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。なお、重み決定部1050は、特定された属性に対する適合度がより大きい属性に対応づけられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。 The weight determination unit 1050 determines weights for a plurality of image processing parameters when the image quality of a subject image included in the input image is improved. Then, based on the weight determined by the weight determination unit 1050, the image generation unit 1000 generates a high-quality image obtained by improving the input image using a plurality of image processing parameters selected by the parameter selection unit 1040. . Note that the weight determination unit 1050 may determine a weight having a higher weight for an image processing parameter associated with an attribute having a higher degree of fitness for the identified attribute.
パラメータ生成部1060は、パラメータ選択部1040が選択した複数の画像処理パラメータを合成した合成パラメータを生成する。そして、画像生成部1000は、パラメータ生成部1060が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成する。 The parameter generation unit 1060 generates a composite parameter obtained by combining a plurality of image processing parameters selected by the parameter selection unit 1040. Then, the image generation unit 1000 generates a high quality image by increasing the image quality of the subject image included in the input image using the composite parameter generated by the parameter generation unit 1060.
なお、上記においては、被写体の属性に応じて画像処理パラメータを生成することについて説明した。その他画像処理部330は、高画質化の強度を画像上で変化させてもよい。 In the above description, the generation of the image processing parameter according to the attribute of the subject has been described. In addition, the image processing unit 330 may change the intensity of high image quality on the image.
パラメータ格納部1010は、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、および、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納する。非特定パラメータは、後に説明するように、オブジェクトによらず高画質化の効果をある程度有する汎用の画像処理パラメータであってよい。 The parameter storage unit 1010 stores a specific parameter that is an image processing parameter used for improving the image quality of an image of a specific object, and a non-specific parameter that is an image processing parameter used for improving the image quality of an image for which no object is specified. To do. As will be described later, the non-specific parameter may be a general-purpose image processing parameter that has a certain effect of improving the image quality regardless of the object.
特定オブジェクト領域検出部1030は、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する。そして、重み決定部1050は、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータおよび非特定パラメータの重みを決定する。画像生成部1000は、重み決定部1050が決定した重みに基づいて、特定パラメータおよび非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。 The specific object area detection unit 1030 detects a specific object area that is an area of the specific object from the input image. Then, the weight determination unit 1050 determines the weights of the specific parameter and the non-specific parameter when the image quality of the input image in which the specific object area is detected is improved. Based on the weight determined by the weight determination unit 1050, the image generation unit 1000 generates a high-quality image obtained by improving the input image using both the specific parameter and the non-specific parameter.
なお、特定オブジェクトとは、特徴領域として検出されるべき被写体のオブジェクトであってよい。重み決定部1050は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定する。これにより、特徴領域として検出されるべき特定オブジェクトをきちんと高画質化することができる。また、重み決定部1050は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定する。これにより、特定のオブジェクト専用の画像処理パラメータで高画質化することを未然に防ぐことができる。 The specific object may be a subject object to be detected as a feature area. The weight determination unit 1050 determines a weight for which the weight for the specific parameter is larger than the non-specific parameter for the image of the specific object region in the input image. As a result, the image quality of the specific object to be detected as the feature area can be improved. In addition, the weight determination unit 1050 determines a weight for which the weight for the non-specific parameter is larger than the specific parameter for the image of the non-specific object area that is an area other than the specific object area. As a result, it is possible to prevent the image quality from being improved with the image processing parameters dedicated to the specific object.
なお、パラメータ格納部1010は、特定のオブジェクトの複数の画像を訓練画像として用いた学習により算出された特定パラメータ、および、特定のオブジェクトの画像ではない複数の画像を訓練画像として用いた学習により算出された非特定パラメータを格納する。これにより、特定オブジェクトに特化した特定パラメータを算出することができる。また、多様なオブジェクトに対する汎用の特定パラメータを算出することができる。 The parameter storage unit 1010 is calculated by learning using a specific parameter calculated by learning using a plurality of images of a specific object as a training image and a plurality of images that are not images of a specific object as a training image. Stored non-specific parameters. Thereby, a specific parameter specialized for the specific object can be calculated. In addition, general-purpose specific parameters for various objects can be calculated.
なお、事前学習では、訓練画像の輝度情報そのものではなく、訓練画像のエッジ情報などの空間変化情報を利用した画像処理パラメータが学習されていることが望ましい。低空間周波数領域の情報を低減したエッジ情報を用いることにより、照明変動、特に、低周波の照明変化に対してロバストな高画質化処理を実現することができる。 In the prior learning, it is desirable to learn image processing parameters using spatial change information such as edge information of the training image, not the luminance information itself of the training image. By using edge information in which information in the low spatial frequency region is reduced, it is possible to realize a high image quality process that is robust against illumination fluctuations, in particular, low-frequency illumination changes.
なお、パラメータ生成部1060は、非特定パラメータと特定パラメータとを、重み決定部1050が決定した重みで合成することにより、合成パラメータを生成してよい。画像生成部1000は、パラメータ生成部1060が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。 The parameter generation unit 1060 may generate a composite parameter by combining the non-specific parameter and the specific parameter with the weight determined by the weight determination unit 1050. The image generation unit 1000 may generate a high quality image by improving the quality of the input image using the synthesis parameter generated by the parameter generation unit 1060.
上記の例では、属性特定部1020が特定した被写体の属性に基づき選択された複数の画像処理パラメータを用いて、高画質画像を生成する場合の動作について説明した。その他にも、画像生成部1000は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化してよい。例えば、画像生成部1000は、予め定められた複数の画像処理パラメータの異なる組み合わせを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部1000は、高画質化して得られた複数の画像の中から、入力画像との比較に基づいて少なくとも1つの画像を選択し、選択した画像を高画質画像としてよい。例えば、画像生成部1000は、高画質化して得られた複数の画像のうち、入力画像に画像内容がより類似する画像を、高画質画像としてより優先して選択してよい。 In the above example, the operation in the case of generating a high quality image using a plurality of image processing parameters selected based on the attribute of the subject specified by the attribute specifying unit 1020 has been described. In addition, the image generation unit 1000 may improve the image quality of the subject image included in the input image using different combinations of a plurality of image processing parameters. For example, the image generation unit 1000 may improve the image quality of the subject image included in the input image using different combinations of a plurality of predetermined image processing parameters. Then, the image generation unit 1000 may select at least one image from a plurality of images obtained by improving the image quality based on the comparison with the input image, and the selected image may be a high-quality image. For example, the image generation unit 1000 may preferentially select an image whose image content is more similar to the input image from among a plurality of images obtained with high image quality as the high-quality image.
なお、パラメータ選択部1040は、入力画像から特定された被写体の属性に基づいて複数の画像処理パラメータの異なる組み合わせを選択してよい。画像生成部1000は、選択された複数の画像処理パラメータを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部1000は、高画質化により得られた複数の画像の中から、入力画像との比較に基づいて少なくとも1つの画像を選択し、選択した画像を高画質画像としてもよい。 The parameter selection unit 1040 may select different combinations of a plurality of image processing parameters based on the attributes of the subject specified from the input image. The image generation unit 1000 may improve the image quality of the subject image included in the input image using the plurality of selected image processing parameters. Then, the image generation unit 1000 may select at least one image from a plurality of images obtained by high image quality based on a comparison with the input image, and the selected image may be a high quality image.
以上説明したように、画像処理装置170は、パラメータ格納部1010が限られた数の画像処理パラメータを格納していても、多様な属性の被写体の画像に対処することができる画像処理パラメータを用いて高画質化することができる。 As described above, the image processing apparatus 170 uses image processing parameters that can deal with images of subjects having various attributes even if the parameter storage unit 1010 stores a limited number of image processing parameters. Image quality can be improved.
外部情報取得部380は、パラメータ格納部1010が格納する画像処理パラメータを、外部から取得する。パラメータ格納部1010は、外部情報取得部380が取得した画像処理パラメータを格納する。具体的には、外部情報取得部380は、特定パラメータおよび非特定パラメータの少なくとも一方を、外部から取得する。パラメータ格納部1010は、外部情報取得部380が取得した特定パラメータおよび非特定パラメータの少なくとも一方を格納する。 The external information acquisition unit 380 acquires the image processing parameters stored in the parameter storage unit 1010 from the outside. The parameter storage unit 1010 stores the image processing parameters acquired by the external information acquisition unit 380. Specifically, the external information acquisition unit 380 acquires at least one of a specific parameter and a non-specific parameter from the outside. The parameter storage unit 1010 stores at least one of the specific parameter and the non-specific parameter acquired by the external information acquisition unit 380.
なお、高画質化としては、高解像度化、多階調数化、多色数化の他、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化、高フレームレート化などを例示することができる。パラメータ格納部1010は、これらの各種高画質化処理用の画像処理パラメータを格納することができる。 Examples of high image quality include high resolution, multiple gradations, multiple colors, low noise, low artifacts, reduced blur, sharpness, and higher frame rate. Can do. The parameter storage unit 1010 can store these various image processing parameters for high image quality processing.
図11は、パラメータ格納部1010が格納しているパラメータの一例をテーブル形式で示す。パラメータ格納部1010は、人物の顔用の画像処理パラメータである特定パラメータA0、A1・・・を、顔の向きに対応づけて格納している。特定パラメータA0、A1は、対応する顔の向きの画像を訓練画像とした事前学習により、予め算出されている。 FIG. 11 shows an example of parameters stored in the parameter storage unit 1010 in a table format. The parameter storage unit 1010 stores specific parameters A0, A1,... That are image processing parameters for a human face in association with the face orientation. The specific parameters A0 and A1 are calculated in advance by pre-learning using a corresponding face orientation image as a training image.
ここで、注目画素の周辺画素の画素値を加重加算することによる高解像度化処理を例に挙げて、事前学習による特定パラメータAの算出処理を説明する。ここでは、注目画素の画素値yが、n個の周辺画素の画素値xi(ただし、i=1〜n)の加重加算により算出されると仮定する。すなわち、y=Σ(wixi)と仮定する。ここで、Σは、iにわたる加算を示している。wiは、周辺画素の画素値xiに対する加重係数であり、加重係数wiが事前学習により算出されるべき特定パラメータAとなる。 Here, the calculation process of the specific parameter A by pre-learning will be described by taking as an example a resolution enhancement process by weighted addition of pixel values of peripheral pixels of the target pixel. Here, it is assumed that the pixel value y of the target pixel is calculated by weighted addition of the pixel values x i (where i = 1 to n) of n peripheral pixels. That is, it is assumed that y = Σ (w i x i ). Here, Σ indicates addition over i. w i is a weighting factor for the pixel values x i of the peripheral pixels, the specific parameter A should weighting coefficient w i is calculated by the prior learning.
特定の向きの顔が撮像されたm個の顔画像を訓練画像として用いるとする。k番目(ただし、k=1〜m)の訓練画像の注目画素の画素値をykとすると、yk=Σwixkiで表されることになる。この場合、加重係数wiは、最小二乗法などの演算処理によって算出することができる。例えば、k番目の成分ekがek=yk−Σ(wixki)で表されるベクトルの2乗を実質的に最小化するwiを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータAを算出することができる。 Assume that m face images obtained by capturing faces in a specific direction are used as training images. k-th (where, k = 1 to m) of the pixel value of the pixel of interest of the training images When y k, will be represented by y k = Σw i x ki. In this case, the weighting coefficient w i can be calculated by an arithmetic process such as a least square method. For example, the w i to substantially minimize the square of the vector k th component e k is expressed by e k = y k -Σ (w i x ki), calculated from the arithmetic processing such as the least square method can do. The specific parameter A corresponding to each face direction can be calculated by performing the above-described specific parameter calculation processing for a plurality of face-oriented face images.
また、パラメータ格納部1010は、人物の顔でないオブジェクトに対して、非特定パラメータBを格納している。非特定パラメータBは、多種多様な被写体の画像を訓練画像とした事前学習により、予め算出されている。なお、非特定パラメータBは、特定パラメータAと同様の事前学習処理により算出することができる。例えば、特定パラメータAを算出する事前学習処理において、訓練画像として顔画像ではなく人物以外の画像を用いることで、非特定パラメータBを算出することができる。 The parameter storage unit 1010 stores a non-specific parameter B for an object that is not a human face. The non-specific parameter B is calculated in advance by prior learning using images of various subjects as training images. The non-specific parameter B can be calculated by a pre-learning process similar to the specific parameter A. For example, in the pre-learning process for calculating the specific parameter A, the non-specific parameter B can be calculated by using an image other than a person as a training image instead of a face image.
図12は、特定パラメータの重みづけの一例を示す。特徴領域として、画像1200内の太線の内部の領域1210および領域1220が、特徴領域として検出されているとする。重み決定部1050は、特徴領域のより内部の領域1210には、特定パラメータの重み係数を100%、非特定パラメータの重み係数を0%に決定する。また、領域1210より非特徴領域寄りの領域1220には、特定パラメータの重み係数を80%、非特定パラメータの重み係数を20%に決定する。 FIG. 12 shows an example of weighting specific parameters. It is assumed that a region 1210 and a region 1220 inside the thick line in the image 1200 are detected as feature regions as feature regions. The weight determination unit 1050 determines the weight coefficient of the specific parameter as 100% and the weight coefficient of the non-specific parameter as 0% in the region 1210 inside the feature region. Further, in the region 1220 closer to the non-feature region than the region 1210, the weighting coefficient of the specific parameter is determined to be 80%, and the weighting coefficient of the nonspecific parameter is determined to be 20%.
また、特徴領域の外側の領域に対しては、特徴領域の近傍の領域1230には、特定パラメータの重み係数を50%、非特定パラメータの重み係数を50%に決定する。そして、さらに外側の領域1250には、特定パラメータの重み係数を0%、非特定パラメータの重み係数を100%に決定する。 For the region outside the feature region, the weighting factor of the specific parameter is determined to be 50% and the weighting factor of the non-specific parameter is set to 50% in the region 1230 near the feature region. Further, in the outer region 1250, the weighting factor of the specific parameter is determined to be 0%, and the weighting factor of the non-specific parameter is determined to be 100%.
このように、重み決定部1050は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。また、重み決定部1050は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定する。このように、重み決定部1050は、特徴領域の中心から外側に向けて、特徴領域から非特徴領域に向けて特定パラメータの重み係数が段階的に減少させる。また、重み決定部1050は、重み係数を段階的に減少させることの他に、特徴領域の中心からの距離、または、特徴領域の周囲領域等からの距離に比例して、重み係数を連続的に減少させてもよい。例えば、重み決定部1050は、距離xに対して重み係数の値を1/x、1/x2、e−xなどの関数に従って減少させるなど、距離xに対して累乗的、または指数関数的に減少する値の重み係数を決定してよい。 In this way, the weight determination unit 1050 determines a weight that gives a higher weight to the specific parameter for the image in the area inside the specific object area in the input image. Also, the weight determination unit 1050 determines a weight that gives a higher weight to the specific parameter as it is closer to the specific object region, with respect to the image of the non-specific object region that is an area other than the specific object area. Thus, the weight determination unit 1050 decreases the weighting factor of the specific parameter stepwise from the center of the feature region to the outside and from the feature region to the non-feature region. In addition to decreasing the weighting factor stepwise, the weight determining unit 1050 continuously increases the weighting factor in proportion to the distance from the center of the feature region or the distance from the surrounding region of the feature region. It may be decreased. For example, the weight determination unit 1050 may increase the value of the weight coefficient with respect to the distance x according to a function such as 1 / x, 1 / x 2 , e −x , or the like, or may be exponential or exponential with respect to the distance x. A weighting factor of a value that decreases to a value may be determined.
なお、重み決定部1050は、特徴領域としての検出信頼度に応じて重み係数を制御してもよい。具体的には、重み決定部1050は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。 Note that the weight determination unit 1050 may control the weighting coefficient according to the detection reliability as the feature region. Specifically, the weight determination unit 1050 determines a weight that gives a higher weight to a specific parameter for an image of a specific object region having a higher detection reliability as the specific object region.
特徴領域として検出されなかった領域に特定オブジェクトが存在していたとすると、その領域を汎用の非特定パラメータで高画質化しても、特定オブジェクトが存在するかどうか判別できない場合がある。画像処理部330によると、特徴領域として検出されなかった領域でも、特定オブジェクト用の特定パラメータの効果を有する高画質化処理を行うので、高画質化した画像から特定オブジェクトが存在するか否かを容易に判別することができる場合がある。 If a specific object exists in an area that has not been detected as a feature area, it may not be possible to determine whether or not the specific object exists even if the image quality of the area is increased using general-purpose non-specific parameters. According to the image processing unit 330, even in an area that is not detected as a feature area, the image quality enhancement process having the effect of the specific parameter for the specific object is performed, so it is determined whether or not the specific object exists from the image with the high image quality. In some cases, it can be easily determined.
なお、特定パラメータは、図11に関連して説明した複数の画像処理パラメータを合成した画像処理パラメータであってよい。例えば、検出された特徴領域内に、正面顔から15°横を向いた人物の顔の画像が含まれているとする。この場合、重み決定部1050は、特定パラメータA0に対する重み係数を25%に決定して、特定パラメータA1に対する重み係数を75%に決定する。そして、パラメータ生成部1060は、特定パラメータA0と特定パラメータA1とを、それぞれ重み係数を25%および75%で合成した合成パラメータを生成する。そして、画像生成部1000は、パラメータ合成部が生成した合成パラメータと、非特定パラメータとを、図12に図示した割合の重みづけして得られた画像処理パラメータを用いて高画質化する。 The specific parameter may be an image processing parameter obtained by combining a plurality of image processing parameters described with reference to FIG. For example, it is assumed that the detected feature region includes an image of a person's face facing 15 ° from the front face. In this case, the weight determination unit 1050 determines the weighting factor for the specific parameter A0 as 25% and the weighting factor for the specific parameter A1 as 75%. Then, the parameter generation unit 1060 generates a composite parameter obtained by combining the specific parameter A0 and the specific parameter A1 with weighting factors of 25% and 75%, respectively. Then, the image generation unit 1000 increases the image quality by using the image processing parameters obtained by weighting the combination parameters generated by the parameter combination unit and the non-specific parameters in the ratio illustrated in FIG.
例えば、周辺画素の加重加算により高画質化する画像処理パラメータ(特定パラメータまたは非特定パラメータ)を用いる場合、パラメータ生成部1060は、画像処理パラメータの加重係数を、重み決定部1050が決定した重み係数で重み付け加算して、得られた加重係数により表される合成パラメータを算出してよい。可加算な画像処理パラメータとしては、加重係数の他に、空間周波数領域での空間周波数成分または画素データそのもの(例えば、高周波数成分の画像データ)を例示することができる。 For example, when using an image processing parameter (specific parameter or non-specific parameter) that improves the image quality by weighted addition of peripheral pixels, the parameter generation unit 1060 uses the weighting coefficient determined by the weight determination unit 1050 as the weighting coefficient of the image processing parameter. The synthesis parameter represented by the obtained weighting coefficient may be calculated by weighting and adding. As an addable image processing parameter, a spatial frequency component in the spatial frequency domain or the pixel data itself (for example, image data of a high frequency component) can be exemplified in addition to the weighting coefficient.
他にも、高画質化処理が、特徴量ベクトルなどに対するベクトル演算、行列演算、またはテンソル演算で表される場合には、パラメータ生成部1060は、それら画像処理パラメータとしてのベクトル、行列、テンソル、n次元混合正規分布、またはn次元混合多項分布の重み付け加算または乗算により、合成パラメータを生成してよい。なお、ここでのnは、1以上の整数であるとする。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減できる場合がある。例えば、0°の向きの特徴ベクトルに係数0.25を乗じた特徴ベクトルと、20°の向きの特徴ベクトルに係数0.75を乗じた特徴ベクトルとの和を、15°の向きの特徴ベクトルとする演算を、1例として示すことができる。また、後述する様々な変換(例えば、主成分分析(PCA)、局所保存投影(LPP))の空間上で補間することにより、更に合成ボケを軽減することができる場合がある。なお、パラメータ生成部1060は、特定パラメータと非特定パラメータとから合成パラメータを算出することができる。また、パラメータ生成部1060は、異なる複数の特定パラメータから合成パラメータを算出することもできる。 In addition, when the high image quality processing is represented by a vector operation, a matrix operation, or a tensor operation on a feature amount vector or the like, the parameter generation unit 1060 uses vectors, matrices, tensors, The synthesis parameter may be generated by weighted addition or multiplication of an n-dimensional mixed normal distribution or an n-dimensional mixed polynomial distribution. Here, n is an integer of 1 or more. For example, by performing vector interpolation in the feature vector space, blur due to synthesis may be reduced on a vector that cannot be expressed by a scalar. For example, the sum of a feature vector obtained by multiplying a feature vector oriented at 0 ° by a coefficient 0.25 and a feature vector obtained by multiplying a feature vector oriented at 20 ° by a coefficient 0.75 is a feature vector oriented at 15 °. Can be shown as an example. Further, there may be a case where synthesis blur can be further reduced by interpolating in the space of various transformations (for example, principal component analysis (PCA) and local preservation projection (LPP)) described later. The parameter generation unit 1060 can calculate a composite parameter from the specific parameter and the non-specific parameter. The parameter generation unit 1060 can also calculate a composite parameter from a plurality of different specific parameters.
なお、画像生成部1000は、特定パラメータと非特定パラメータとを用いて高画質画像を生成する場合に、特定パラメータを用いて画像処理して得られた画像情報と、非特定パラメータを用いて画像処理して得られた画像情報とを、重み決定部1050が決定した重み係数で加算することにより、高画質画像を生成してよい。その他、画像生成部1000は、特定パラメータを用いて画像処理して得られた画像情報に対して、非特定パラメータを用いて画像処理することにより、高画質画像を生成してもよい。同様の処理は、複数の特定パラメータを用いた高画質化処理に適用することができる。なお、ここでいう画像データとしては、画素値そのもの、特徴量空間における特徴量ベクトル、行列、n次元混合正規分布、n次元混合多項分布などを例示することができる。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減することができる場合がある。 Note that the image generation unit 1000, when generating a high-quality image using specific parameters and non-specific parameters, uses image information obtained by image processing using the specific parameters and images using the non-specific parameters. A high-quality image may be generated by adding the image information obtained by processing with the weighting coefficient determined by the weight determining unit 1050. In addition, the image generation unit 1000 may generate a high-quality image by performing image processing using non-specific parameters on image information obtained by performing image processing using specific parameters. Similar processing can be applied to high image quality processing using a plurality of specific parameters. Examples of the image data herein include pixel values themselves, feature quantity vectors in the feature quantity space, matrices, n-dimensional mixed normal distributions, n-dimensional mixed multinomial distributions, and the like. For example, by performing vector interpolation in the feature vector space, blur due to synthesis may be reduced on a vector that cannot be expressed by a scalar.
なお、図11および図12にかけて説明した高画質化処理では、特徴領域内の画像から特定された人物の顔の向きに基づき、特徴領域を高画質化する場合に用いる複数の画像処理パラメータがパラメータ選択部1040により選択された。そして、画像生成部1000は、パラメータ選択部1040により選択された複数の画像処理パラメータを用いて、1つの高画質化画像を生成した。 Note that in the image quality improvement processing described with reference to FIGS. 11 and 12, a plurality of image processing parameters used for improving the image quality of the feature area based on the orientation of the face of the person specified from the image in the feature area is a parameter. Selected by the selection unit 1040. Then, the image generation unit 1000 generates one high-quality image using the plurality of image processing parameters selected by the parameter selection unit 1040.
その他にも、画像生成部1000は、画像生成部1000が格納している画像処理パラメータの複数の組み合わせのそれぞれから、特徴領域を高画質化した画像を複数生成してもよい。そして、画像生成部1000は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してよい。 In addition, the image generation unit 1000 may generate a plurality of images in which the quality of the characteristic region is improved from each of a plurality of combinations of image processing parameters stored in the image generation unit 1000. Then, the image generation unit 1000 may generate an image most similar to the image in the feature area among the obtained plurality of images as a high-quality image in which the feature area is improved in image quality.
例えば、画像生成部1000は、0°の向きに対応する特定パラメータA0と20°の向きに対応する特定パラメータA1との合成パラメータを用いて、特徴領域の画像を高画質化した画像を生成する。画像生成部1000は、さらに、他の1以上の組み合わせの特定パラメータの合成パラメータを用いて、特徴領域の画像を高画質化した1以上の画像を生成する。 For example, the image generation unit 1000 generates an image in which the image of the feature region is improved in image quality using a composite parameter of the specific parameter A0 corresponding to the 0 ° direction and the specific parameter A1 corresponding to the 20 ° direction. . The image generation unit 1000 further generates one or more images obtained by improving the image quality of the image of the feature region using the synthesis parameter of the specific parameter of one or more other combinations.
そして、画像生成部1000は、生成した複数の画像のそれぞれを特徴領域内の画像と比較して、画像内容の一致度を算出する。画像生成部1000は、生成した複数の画像のうち、最も高い一致度が得られた画像を、高画質画像として決定する。 Then, the image generation unit 1000 compares each of the generated plurality of images with the image in the feature region, and calculates the degree of coincidence of the image contents. The image generation unit 1000 determines an image with the highest matching score among the plurality of generated images as a high-quality image.
なお、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部1000は、予め定められた特定パラメータの複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化してよい。この場合、属性特定部1020が顔の向きを特定する処理をすることなく、パラメータ選択部1040が予め定められた特定パラメータの複数の組を選択してよい。 Note that when generating a plurality of images with high image quality of the image of the feature region, the image generation unit 1000 uses the plurality of synthesis parameters based on a plurality of predetermined sets of specific parameters, respectively. The image quality may be improved. In this case, the parameter selecting unit 1040 may select a plurality of sets of predetermined specific parameters without the attribute specifying unit 1020 specifying the face orientation.
その他にも、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部1040が特定パラメータの組を複数選択してよい。例えば、パラメータ選択部1040は、特定パラメータの複数の組を特定する情報と人物の顔の向きを特定する情報とを対応づけて記憶しており、特徴領域内の画像から特定された人物の顔の向きに対応づけて記憶している特定パラメータの複数の組を選択してよい。そして、選択した複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化することで、特徴領域の画像を高画質化した画像を複数生成してもよい。 In addition, the parameter selection unit 1040 may select a plurality of specific parameter sets based on the face orientation of the person specified from the image in the feature region. For example, the parameter selection unit 1040 stores information for specifying a plurality of sets of specific parameters in association with information for specifying the orientation of the person's face, and the person's face specified from the image in the feature region A plurality of sets of specific parameters that are stored in association with the orientations may be selected. Then, a plurality of images in which the quality of the image in the feature area is improved may be generated by improving the quality of the image in the feature area by each of a plurality of synthesis parameters based on the selected plurality of sets.
また、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部1000は、複数の特定パラメータのそれぞれにより特徴領域内の画像を高画質化してもよい。そして、画像生成部1000は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してもよい。この場合においても、属性特定部1020が顔の向きを特定する処理をすることなく、パラメータ選択部1040が予め定められた複数の特定パラメータを選択してよいし、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部1040が特定パラメータを複数選択してもよい。 Further, when generating a plurality of images in which the image of the feature area is improved in image quality, the image generation unit 1000 may improve the image quality in the feature area by each of a plurality of specific parameters. Then, the image generation unit 1000 may generate an image that is most similar to the image in the feature area among the plurality of obtained images as a high-quality image in which the feature area is improved in image quality. Even in this case, the parameter specifying unit 1040 may select a plurality of predetermined specific parameters without performing the process of specifying the face orientation by the attribute specifying unit 1020, or may be specified from the image in the feature region. The parameter selection unit 1040 may select a plurality of specific parameters based on the orientation of the person's face.
図11に関連して説明したように、特定の顔向きの訓練画像から、特定の顔向きの顔画像を高画質化する画像処理パラメータ(特定パラメータ)を算出することができる。他の複数の顔向きについてもそれぞれ同様にして画像処理パラメータを算出することで、複数の顔向きのそれぞれに対応する画像処理パラメータを算出することができる。そして、パラメータ格納部1010は、算出されたそれぞれの画像処理パラメータを、対応する顔向きに対応づけて予め格納する。なお、顔画像を高画質化する画像処理パラメータとしては、顔全体を高画質化する画像処理パラメータであってよいが、目の画像、口の画像、鼻の画像、耳の画像など、顔画像に含まれる少なくとも一部のオブジェクトを高画質化する画像処理パラメータであってもよい。 As described with reference to FIG. 11, an image processing parameter (specific parameter) for improving the image quality of a face image with a specific face direction can be calculated from the training image with the specific face direction. The image processing parameters corresponding to each of the plurality of face orientations can be calculated by calculating the image processing parameters for each of the other face orientations in the same manner. The parameter storage unit 1010 stores the calculated image processing parameters in advance in association with the corresponding face orientations. The image processing parameters for improving the image quality of the face image may be image processing parameters for improving the image quality of the entire face, but face images such as an eye image, a mouth image, a nose image, an ear image, etc. May be an image processing parameter for improving the image quality of at least some of the objects included in.
顔向きはこの発明における被写体の向きの一例であり、被写体の向きについても、顔向きと同様にして、複数の被写体の向きにそれぞれ対応する複数の画像処理パラメータを算出することができる。被写体が人物である場合には、被写体の向きとして人体の向きを例示することができ、より具体的には体部の向き、手の向きなどを人体の向きとして例示することができる。また、被写体が人物以外である場合にも、顔画像と同様にして、複数の方向の被写体が撮像された被写体像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。 The face orientation is an example of the orientation of the subject in the present invention, and for the orientation of the subject, a plurality of image processing parameters respectively corresponding to the orientations of the plurality of subjects can be calculated in the same manner as the face orientation. When the subject is a person, the orientation of the human body can be exemplified as the orientation of the subject, and more specifically, the orientation of the body part, the orientation of the hand, etc. can be exemplified as the orientation of the human body. Even when the subject is other than a person, a plurality of image processing parameters for improving the image quality of a subject image obtained by capturing subjects in a plurality of directions can be calculated in the same manner as a face image.
被写体の向きはこの発明における被写体の状態の一例であり、被写体の状態は人物の表情により分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定の表情をしている顔の画像をそれぞれ高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、人物が喜怒哀楽のそれぞれの状態にあるときの顔、人物が緊張状態にあるときの顔、人物の真顔などをそれぞれ高画質化する。 The direction of the subject is an example of the state of the subject in the present invention, and the state of the subject can be classified according to the facial expression of the person. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of each face image having a different specific expression. For example, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of the face when the person is in emotional state, the face when the person is in tension, the true face of the person, etc. To do.
また、被写体の状態は、人物のしぐさにより分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定のしぐさをしている状態の人物の画像を高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、走っている状態の人物像、足早に歩いている状態の人物像、走り出そうとしている状態の人物像、物を物色している状態の人物像などをそれぞれ高画質化する。 The state of the subject can be classified according to the person's gesture. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of a person's image in a different specific behavior. For example, the plurality of image processing parameters stored in the parameter storage unit 1010 include a person image in a running state, a person image in a state of walking quickly, a person image in a state of starting to run, and a state in which an object is being colored Improve the image quality of each person's image.
また、被写体の状態は、人物の姿勢により分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定の姿勢をしている状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、背をかがめた状態の人物像、手をポケットに入れている状態の人物像、腕組みしている状態の人物像、顔と体の向きとが一致していない状態の人物像などをそれぞれ高画質化する。 The state of the subject can be classified according to the posture of the person. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of images of persons in different specific postures. For example, the plurality of image processing parameters stored in the parameter storage unit 1010 include a portrait of a person with his back folded, a portrait of a person with his hand in his pocket, a portrait of his person with arms folded, Improve the image quality of each person's image that does not match the orientation.
また、被写体の状態は、人物の着用物により分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定の着用物を着用している状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、めがねを着用している人物像、サングラスを着用している人物像、マスクをしている人物像、帽子を着用している人物像などをそれぞれ高画質化する。 The state of the subject can be classified according to the person's wear. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of the images of persons wearing different specific wearing items. For example, the plurality of image processing parameters stored in the parameter storage unit 1010 include a person image wearing glasses, a person image wearing sunglasses, a person image wearing a mask, and a person image wearing a hat. Etc. to improve the image quality.
以上に説明したように、被写体の複数の状態に対応して被写体が複数の属性に分類される。他にも、被写体は、被写体の種別によって複数の属性に分類されることができる。被写体の種別としては、人物の人種を例示することができる。人物の人種としては、アジア系の人種、欧州系の人種など地域的に分類された人種、形質人類学的に分類された人種などを例示することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ対応する人種に分類された人物の画像をそれぞれ高画質化する。 As described above, a subject is classified into a plurality of attributes corresponding to a plurality of states of the subject. In addition, the subject can be classified into a plurality of attributes according to the type of the subject. As the type of subject, the race of a person can be exemplified. Examples of the race of a person include a race classified in a region such as an Asian race, a race of Europe, or a race anthropologically classified. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of images of persons classified into the corresponding races.
また、被写体の種別としては、男性・女性のように人物の性別で分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、男性の画像または女性など、対応する性別の人物の画像をそれぞれ高画質化する。また、被写体の種別としては、人物の年齢層で分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、十代の人物の画像、二十代の人物の画像など、対応する年代の人物の画像をそれぞれ高画質化する。 Further, the type of subject can be classified by the gender of a person such as male or female. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of images of persons of the corresponding gender such as male images or female images. The types of subjects can be classified according to the age group of the person. In this case, the plurality of image processing parameters stored in the parameter storage unit 1010 improve the image quality of images of people of corresponding ages, such as images of teenagers and images of people of the twenties.
上記において例示された被写体の種別、被写体の複数の状態、またはそれらの組み合わせにより、被写体像の属性が規定される。そして、パラメータ格納部1010は、規定された属性のそれぞれに対応づけて、各属性に属する被写体像を高画質化する画像処理パラメータを予め格納する。パラメータ格納部1010により格納される画像処理パラメータは、各顔向き用の画像処理パラメータの算出方法と同様の方法により、算出することができる。例えば、表情で属性が規定されている場合には、笑っている顔が撮像された複数の画像を訓練画像として事前学習することにより、笑い顔の画像を高画質化する画像処理パラメータを算出することができる。怒り顔の画像など、他の表情の画像についてもそれぞれ同様に事前学習することで、各表情の顔画像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。しぐさ、姿勢、着用物、人種、性別、年齢などにより規定される各属性についても、同様にして画像処理パラメータを算出することができる。 The attribute of the subject image is defined by the type of subject exemplified above, the plurality of states of the subject, or a combination thereof. Then, the parameter storage unit 1010 stores in advance image processing parameters for increasing the image quality of subject images belonging to the attributes in association with the specified attributes. The image processing parameters stored by the parameter storage unit 1010 can be calculated by a method similar to the method for calculating the image processing parameters for each face orientation. For example, when an attribute is specified by a facial expression, an image processing parameter for improving the image quality of the laughing face is calculated by pre-learning a plurality of images in which the laughing face is captured as a training image. be able to. A plurality of image processing parameters for improving the image quality of each facial image of each facial expression can be calculated by pre-learning images of other facial expressions such as an angry facial image in the same manner. Image processing parameters can be calculated in the same manner for each attribute defined by gesture, posture, wear, race, gender, age, and the like.
属性特定部1020は、例えばアダブーストなどによりブースティングにより予め算出された識別器を被写体像に適用することにより、被写体像の属性を特定することができる。例えば、特定の向きの顔が撮像された複数の顔画像を教師画像として用いて、弱識別器をブースティング処理により統合して識別器を生成する。生成された識別器に被写体像を適用した場合に得られた正誤の識別結果に応じて、特定の顔向きの顔画像であるか否かを判定することができる。例えば、正の識別結果が得られた場合には、入力された被写体像は、特定の顔向きの顔画像であると判定することができる。 The attribute specifying unit 1020 can specify the attribute of the subject image by applying, to the subject image, a discriminator that is calculated in advance by boosting such as Adaboost. For example, a plurality of face images obtained by capturing faces in a specific direction are used as teacher images, and weak classifiers are integrated by boosting processing to generate a classifier. It is possible to determine whether or not the image is a face image of a specific face according to the correct / incorrect identification result obtained when the subject image is applied to the generated classifier. For example, when a positive identification result is obtained, it can be determined that the input subject image is a face image of a specific face orientation.
他の複数の顔向きについても同様にブースティング処理により識別器を生成することにより、各顔向きにそれぞれ対応する複数の識別器を生成することができる。属性特定部1020は、これら複数の識別器を被写体像にそれぞれ適用して、各識別器から得られた正誤の識別結果に基づいて顔向きを特定することができる。顔向きの他、表情、性別などで規定される他の1以上の属性についても、それぞれブースティング処理により属性毎に生成された識別器を適用することにより特定することができる。属性特定部1020は、ブースティングによる学習の他、線形判別法、混合ガウシアンモデルなど種々の方法で属性毎に学習された識別器を被写体像に適用することで、属性を特定することができる。 Similarly, a plurality of discriminators corresponding to each face direction can be generated by generating discriminators by boosting processing for other plural face orientations. The attribute specifying unit 1020 can apply the plurality of classifiers to the subject image and specify the face direction based on the correct / incorrect identification results obtained from the respective classifiers. In addition to the face orientation, one or more other attributes defined by facial expressions, gender, etc. can also be specified by applying a classifier generated for each attribute by boosting processing. The attribute specifying unit 1020 can specify an attribute by applying, to a subject image, a discriminator learned for each attribute by various methods such as a linear discriminating method and a mixed Gaussian model in addition to learning by boosting.
図13は、表示装置180のブロック構成の一例を示す。表示装置180は、画像取得部1300、第1画像処理部1310、特徴領域特定部1320、パラメータ決定部1330、表示制御部1340、第2画像処理部1350、外部情報取得部1380、および表示部1390を有する。 FIG. 13 shows an example of a block configuration of the display device 180. The display device 180 includes an image acquisition unit 1300, a first image processing unit 1310, a feature region specifying unit 1320, a parameter determination unit 1330, a display control unit 1340, a second image processing unit 1350, an external information acquisition unit 1380, and a display unit 1390. Have
画像取得部1300は、入力画像を取得する。ここでいう入力画像は、画像処理装置170から受け取った動画に含まれるフレーム画像であってよい。第1画像処理部1310は、予め定められた画像処理パラメータを用いて入力画像を高画質化した所定画質画像を生成する。例えば第1画像処理部1310は、高解像度化する場合には、単純補間拡大処理など、所要演算量が予め定められた値より小さい方式の画像処理パラメータを用いて、所定画質画像を生成する。 The image acquisition unit 1300 acquires an input image. The input image here may be a frame image included in the moving image received from the image processing apparatus 170. The first image processing unit 1310 generates a predetermined image quality image obtained by improving the image quality of the input image using predetermined image processing parameters. For example, when the resolution is increased, the first image processing unit 1310 generates a predetermined image quality using image processing parameters of a method in which a required calculation amount is smaller than a predetermined value, such as simple interpolation enlargement processing.
表示制御部1340は、第1画像処理部1310が生成した所定画質画像を、表示部1390に表示させる。このように、表示部1390は、所定画質画像を表示する。 The display control unit 1340 causes the display unit 1390 to display the predetermined image quality image generated by the first image processing unit 1310. In this way, the display unit 1390 displays a predetermined image quality image.
特徴領域特定部1320は、入力画像における複数の特徴領域を特定する。特徴領域特定部1320は、表示部1390が所定画質画像を表示している状態で、入力画像における複数の特徴領域を特定してよい。なお、画像処理装置170は、特徴領域を特定する情報を動画に付帯情報として付帯して表示装置180に送信してよい。特徴領域特定部1320は、画像取得部1300が取得した動画の付帯情報から特徴領域を特定する情報を抽出することにより、複数の特徴領域を特定してよい。 The feature area specifying unit 1320 specifies a plurality of feature areas in the input image. The feature area specifying unit 1320 may specify a plurality of feature areas in the input image in a state where the display unit 1390 displays a predetermined image quality image. Note that the image processing apparatus 170 may attach information specifying the feature region to the moving image as supplementary information and transmit the information to the display apparatus 180. The feature region specifying unit 1320 may specify a plurality of feature regions by extracting information specifying the feature region from the accompanying information of the moving image acquired by the image acquisition unit 1300.
パラメータ決定部1330は、複数の特徴領域のそれぞれの画像をさらに高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。例えば、パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を、異なる強度で高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。「異なる強度で高画質化する」とは、異なる演算量で高画質化すること、単位面積あたりに異なる演算量で高画質化すること、異なる所要演算量の高画質化方式で高画質化すること、などを意味してよい。 The parameter determination unit 1330 determines an image processing parameter for further improving the image quality of each image of the plurality of feature regions for each of the plurality of feature regions. For example, the parameter determination unit 1330 determines, for each of the plurality of feature regions, an image processing parameter for improving the image quality of each of the plurality of feature regions with different intensities. “Improve image quality with different intensity” means to improve the image quality with different amount of calculation, to improve the image quality with different amount of calculation per unit area, or to improve the image quality with the image quality improvement method with different required amount of calculation. It may mean that.
第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高画質化した複数の高画質特徴領域画像を生成する。表示制御部1340は、表示部1390が表示している所定画質画像における複数の特徴領域に、複数の特徴領域画像を表示させる。このように、表示制御部1340は、高画質画像が生成された段階で、表示部1390が既に表示している所定画質画像に代えて、高画質画像を表示させる。表示部1390は、所定画質画像を速やかに生成して表示するので、ユーザは実質的に遅滞なく、ある程度の画質の監視映像を観察することができる。 The second image processing unit 1350 uses the image processing parameters determined by the parameter determination unit 1330 to generate a plurality of high quality feature region images obtained by improving the image quality of the images of the plurality of feature regions. The display control unit 1340 displays a plurality of feature region images in the plurality of feature regions in the predetermined image quality image displayed by the display unit 1390. As described above, the display control unit 1340 displays a high-quality image instead of the predetermined image quality image already displayed on the display unit 1390 at the stage where the high-quality image is generated. Since the display unit 1390 quickly generates and displays a predetermined image quality image, the user can observe a monitoring image with a certain image quality without substantial delay.
パラメータ決定部1330は、複数の特徴領域のそれぞれの画像の重要度に基づいて、複数の特徴領域毎に画像処理パラメータを決定してよい。重要度を示す情報は、上記付帯情報に付帯されてよい。また、重要度は、特徴領域の被写体の種別に応じて予め定められていてよい。被写体の種別毎の重要度は、表示部1390を観察するユーザにより設定されてもよい。パラメータ決定部1330は、重要度がより大きい特徴領域をより大きい強度で高画質化する画像処理パラメータを決定する。このため、ユーザは、重要な特徴領域がより高画質な画像を観察することができる。 The parameter determination unit 1330 may determine the image processing parameter for each of the plurality of feature areas based on the importance of each image of the plurality of feature areas. Information indicating the importance may be attached to the accompanying information. The importance may be determined in advance according to the type of subject in the feature area. The importance for each type of subject may be set by a user observing the display unit 1390. The parameter determination unit 1330 determines an image processing parameter for improving the image quality of a feature region having a higher importance level with a higher intensity. For this reason, the user can observe an image in which the important feature region has a higher image quality.
パラメータ決定部1330は、複数の特徴領域のそれぞれの画像の特徴の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。また、パラメータ決定部1330は、複数の特徴領域内に撮像されている被写体の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定してもよい。このように、パラメータ決定部1330は、被写体の種類に応じて直接的に画像処理パラメータを決定してよい。 The parameter determination unit 1330 determines an image processing parameter for each of the plurality of feature regions based on the feature type of each image of the plurality of feature regions. Further, the parameter determination unit 1330 may determine image processing parameters for each of the plurality of feature areas based on the types of subjects imaged in the plurality of feature areas. Thus, the parameter determination unit 1330 may determine the image processing parameter directly according to the type of subject.
なお、パラメータ決定部1330は、第2画像処理部1350において複数の特徴領域をそれぞれ高画質化するのに要する処理所要量に基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部1330は、処理所要量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定する。 Note that the parameter determination unit 1330 determines the image processing parameter based on the required processing amount required to improve the image quality of each of the plurality of feature regions in the second image processing unit 1350. Specifically, the parameter determination unit 1330 determines an image processing parameter for increasing the image quality with higher strength when the required processing amount is smaller.
例えば、パラメータ決定部1330は、複数の特徴領域の面積がより小さい場合に、より大きい強度で高解像度化する画像処理パラメータを決定してよい。そして、第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。また、パラメータ決定部1330は、複数の特徴領域の画素数がより少ない場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。 For example, the parameter determination unit 1330 may determine an image processing parameter for increasing the resolution with higher intensity when the areas of the plurality of feature regions are smaller. Then, the second image processing unit 1350 uses the image processing parameters determined by the parameter determination unit 1330 to generate a plurality of high quality feature region images obtained by increasing the resolution of the images of the plurality of feature regions. In addition, the parameter determination unit 1330 may determine an image processing parameter for increasing the image quality with higher intensity when the number of pixels in the plurality of feature regions is smaller.
また、パラメータ決定部1330は、第2画像処理部1350において許容された処理量である処理可能容量に基づき、画像処理パラメータを決定する。具体的には、パラメータ決定部1330は、処理可能容量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。 Further, the parameter determination unit 1330 determines the image processing parameter based on the processable capacity that is the processing amount allowed by the second image processing unit 1350. Specifically, the parameter determination unit 1330 may determine an image processing parameter for improving the image quality with higher strength when the processable capacity is smaller.
このため、第2画像処理部1350が処理可能な演算量に応じて、高画質化の程度を制御することができる。このため、表示部1390の負荷が高画質化処理により過負荷に陥って、画像の表示が遅延することを未然に防ぐことができる場合がある。表示部1390の演算量に余裕があれば、速やかに高画質画像が生成されるので、観察することができる。 For this reason, the degree of high image quality can be controlled in accordance with the amount of computation that can be processed by the second image processing unit 1350. For this reason, it may be possible to prevent the load on the display unit 1390 from being overloaded by the image quality enhancement process and delaying the display of the image. If there is a margin in the calculation amount of the display unit 1390, a high-quality image is quickly generated and can be observed.
上述したように、高画質化としては、高解像度化を例示することができる。具体的には、パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を高解像度化する画像処理パラメータを、複数の特徴領域毎に決定する。第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。ここで、大きい強度で高解像度化するとは、高精度に高解像度化すること、および、より多い画素数の高画質画像を生成することを含む。 As described above, high resolution can be exemplified as high image quality. Specifically, the parameter determination unit 1330 determines an image processing parameter for increasing the resolution of each image of the plurality of feature regions for each of the plurality of feature regions. The second image processing unit 1350 uses the image processing parameters determined by the parameter determination unit 1330 to generate a plurality of high-quality feature region images obtained by increasing the resolution of the images of the plurality of feature regions. Here, increasing the resolution with high intensity includes increasing the resolution with high accuracy and generating a high-quality image having a larger number of pixels.
高画質化処理としては、多階調数化処理を含む。具体的には、パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を多階調数化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ多階調数化した複数の高画質特徴領域画像を生成する。 The high image quality processing includes multi-gradation processing. Specifically, the parameter determination unit 1330 determines, for each of the plurality of feature areas, an image processing parameter for increasing the number of gradations of each image of the plurality of feature areas. Then, the second image processing unit 1350 uses the image processing parameters determined by the parameter determination unit 1330 to generate a plurality of high-quality feature region images obtained by converting the images of the plurality of feature regions into multi-tone numbers.
他にも、高画質化処理としては、多階調数化処理を含む。具体的には、パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を多色数化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ多色数化した複数の高画質特徴領域画像を生成する。 In addition, the high image quality processing includes multi-gradation processing. Specifically, the parameter determination unit 1330 determines an image processing parameter for multi-coloring each image of the plurality of feature regions for each of the plurality of feature regions. Then, the second image processing unit 1350 uses the image processing parameters determined by the parameter determining unit 1330 to generate a plurality of high-quality feature region images obtained by multiplying the images of the plurality of feature regions, respectively.
他にも、高画質化として、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化を例示することができる。これらの各種の高画質化についても、高解像度化などと同様、パラメータ決定部1330が各種の高画質化をする画像処理パラメータを複数の特徴領域毎に決定して、第2画像処理部1350が、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ各種の高画質化をした複数の高画質特徴領域画像を生成することができる。 In addition, examples of high image quality include low noise, low artifacts, reduced blur, and sharpness. For these various types of high image quality, as in the case of high resolution, the parameter determining unit 1330 determines image processing parameters for various types of high image quality for each of the plurality of feature regions, and the second image processing unit 1350 Using the image processing parameters determined by the parameter determination unit 1330, it is possible to generate a plurality of high quality feature region images obtained by improving the image quality of each of the plurality of feature regions.
なお、上述したように、画像取得部1300は、動画に含まれる複数の動画構成画像を入力画像として取得してよい。パラメータ決定部1330は、複数の特徴領域のそれぞれを高フレームレート化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、高フレームレート化した複数の高画質特徴領域画像を生成してよい。 As described above, the image acquisition unit 1300 may acquire a plurality of moving image constituent images included in a moving image as input images. The parameter determination unit 1330 determines an image processing parameter for increasing the frame rate of each of the plurality of feature regions for each of the plurality of feature regions. Then, the second image processing unit 1350 may generate a plurality of high-quality feature region images with a high frame rate using the image processing parameters determined by the parameter determination unit 1330.
なお、パラメータ決定部1330は、動画のフレームレートに基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部1330は、動画のフレームレートがより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。第2画像処理部1350は、決定した画像処理パラメータを用いて、入力画像をそれぞれ高画質化することにより、高画質化された動画を生成してよい。なお、第2画像処理部1350による高画質化は、画像処理装置170による高画質化と同様、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズおよびモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化の概念を含んで良く、第2画像処理部1350はこれらの処理により高画質化画像を生成することができる。 Note that the parameter determination unit 1330 determines an image processing parameter based on the frame rate of the moving image. Specifically, the parameter determination unit 1330 may determine an image processing parameter for improving the image quality with higher strength when the frame rate of the moving image is lower. The second image processing unit 1350 may generate a high-quality moving image by improving the image quality of each input image using the determined image processing parameters. The high image quality by the second image processing unit 1350 is the same as the high image quality by the image processing device 170, such as high resolution, multiple colors, multiple gradations, noise reduction, block noise, mosquito noise, and the like. This may include the concept of artifact reduction, blur reduction, and sharpness reduction that reduce the artifacts, and the second image processing unit 1350 can generate a high-quality image by these processes.
このように、表示装置180は、高画質化すべき画像のデータ量、高画質化処理に割り当てることができる演算量に応じて、高画質化の強度を決定することができる。表示装置180によると、ある程度の品質の画像を速やかにユーザに提供することができるとともに、高画質化処理された画像の表示が極度に遅延してしまうことを未然に防ぐことができる。このため、表示装置180は、高画質化処理により過負荷になることを未然に防ぐことができ、画像処理装置170から提供された動画をスムーズに再生することができる。 As described above, the display device 180 can determine the strength of the image quality improvement according to the data amount of the image to be improved in image quality and the calculation amount that can be assigned to the image quality improvement processing. According to the display device 180, an image of a certain quality can be promptly provided to the user, and the display of the image subjected to the high image quality processing can be prevented from being extremely delayed. For this reason, the display device 180 can prevent an overload due to the high image quality processing, and can smoothly reproduce the moving image provided from the image processing device 170.
なお、外部情報取得部1380は、特徴領域毎に画像処理パラメータを決定する決定条件を、表示装置180の外部から取得する。パラメータ決定部1330は、外部情報取得部1380が取得した決定条件に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。決定条件としては、特徴領域の重要度、特徴領域の特徴の種類、処理所要量、特徴領域の面積、特徴領域の画素数、処理可能容量などをパラメータとした条件を例示することができる。 The external information acquisition unit 1380 acquires a determination condition for determining an image processing parameter for each feature region from the outside of the display device 180. The parameter determination unit 1330 determines an image processing parameter for each of the plurality of feature regions based on the determination condition acquired by the external information acquisition unit 1380. Examples of the determination condition include conditions using parameters such as the importance of the feature region, the type of feature of the feature region, the required processing amount, the area of the feature region, the number of pixels in the feature region, the processable capacity, and the like.
図14は、表示エリア1400の一例を示す。表示エリア1400は、表示部1390により入力画像が表示される領域であるとする。ここでは、入力画像から3つの特徴領域が特定されているとする。これらの特徴領域の画像は、表示エリア1400のうち、特徴領域エリア1410、特徴領域エリア1420、および特徴領域エリア1430に表示されるとする。 FIG. 14 shows an example of the display area 1400. The display area 1400 is an area where an input image is displayed by the display unit 1390. Here, it is assumed that three feature regions are specified from the input image. It is assumed that the images of these feature areas are displayed in the feature area area 1410, the feature area area 1420, and the feature area area 1430 in the display area 1400.
画像取得部1300が入力画像を取得した場合に、表示制御部1340は、取得した入力画像を、表示部1390の表示エリア1400にそのまま表示させる。 When the image acquisition unit 1300 acquires the input image, the display control unit 1340 displays the acquired input image in the display area 1400 of the display unit 1390 as it is.
入力画像が表示された状態で、第2画像処理部1350は、各特徴領域の画像に、単純補間などの、所要演算量が予め定められた値より小さい所定の高解像度化処理を施して、各特徴領域の画像の所定画質画像を生成する(第1高解像度化段階)。この第1高解像度化段階では、高解像度化の強度は特徴領域の画素数、フレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、ならびに第2画像処理部1350における演算許容量になどによらず、第2画像処理部1350は所定強度の高解像度化処理を施す。なお、当該所定強度の高解像度化処理を入力画像の全域に施すのに要する演算量が、第2画像処理部1350に常時割り当てられてよい。 In a state where the input image is displayed, the second image processing unit 1350 performs predetermined high resolution processing such as simple interpolation on the image of each feature region that has a required calculation amount smaller than a predetermined value, A predetermined quality image of the image of each feature area is generated (first high resolution stage). In this first resolution enhancement stage, the strength of resolution enhancement is the amount of image data such as the number of pixels in the feature region, the frame rate, the importance of the feature region, the type of subject, and the calculation permission in the second image processing unit 1350. Regardless of the capacity or the like, the second image processing unit 1350 performs resolution enhancement processing with a predetermined intensity. It should be noted that the amount of calculation required to perform the resolution enhancement processing with the predetermined intensity over the entire area of the input image may be always assigned to the second image processing unit 1350.
第1高解像度化段階が完了して、所定画質画像1412、所定画質画像1422、および所定画質画像1432が生成されると、表示制御部1340は、所定画質画像1412、所定画質画像1422、および所定画質画像1432をそれぞれ対応する特徴領域エリア1410、特徴領域エリア1420、および特徴領域エリア1430に表示させる。 When the first high resolution stage is completed and the predetermined image quality image 1412, the predetermined image quality image 1422, and the predetermined image quality image 1432 are generated, the display control unit 1340 displays the predetermined image quality image 1412, the predetermined image quality image 1422, and the predetermined image quality image. The image quality image 1432 is displayed in the corresponding feature area area 1410, feature area area 1420, and feature area area 1430, respectively.
所定画質画像1412、所定画質画像1422、および所定画質画像1432が表示された状態で、第2画像処理部1350は、パラメータ決定部1330が特徴領域毎に決定した強度で、高解像度化処理を行い、各特徴領域の画像の高画質画像を生成する(第2高解像度化段階)。この第2高解像度化段階では、高解像度化の強度は、パラメータ決定部1330により決定された強度であり、特徴領域の画素数およびフレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、ならびに第2画像処理部1350における演算許容量に依存する。 In a state where the predetermined image quality image 1412, the predetermined image quality image 1422, and the predetermined image quality image 1432 are displayed, the second image processing unit 1350 performs the high resolution processing at the intensity determined for each feature region by the parameter determining unit 1330. Then, a high-quality image of the image of each feature region is generated (second high resolution stage). In this second resolution enhancement stage, the resolution enhancement intensity is the intensity determined by the parameter determination unit 1330, and the amount of image data such as the number of pixels in the feature area and the frame rate, the importance of the feature area, the subject And the allowable calculation amount in the second image processing unit 1350.
第2高解像度化段階が完了して、高画質画像1414、高画質画像1424、および高画質画像1434が生成されると、表示制御部1340は、高画質画像1414、高画質画像1424、および高画質画像1434を、それぞれ対応する特徴領域エリア1410、特徴領域エリア1420、および特徴領域エリア1430に表示させる。 When the second high-resolution stage is completed and the high-quality image 1414, the high-quality image 1424, and the high-quality image 1434 are generated, the display control unit 1340 includes the high-quality image 1414, the high-quality image 1424, and the high-quality image 1424. The image quality image 1434 is displayed in the corresponding feature area area 1410, feature area area 1420, and feature area area 1430, respectively.
このように、第2画像処理部1350は、現在の負荷量、高画質化に要する演算量に応じた強度で高解像度化するので、提供可能な範囲内で高画質な画像を速やかにユーザに提供することができる。 As described above, the second image processing unit 1350 increases the resolution with the intensity according to the current load amount and the calculation amount required to improve the image quality. Can be provided.
図15は、他の実施形態に係る画像処理システム20の一例を示す。本実施形態における画像処理システム20の構成は、撮像装置100a−dがそれぞれ画像処理部804a−d(以下、画像処理部804と総称する。)を有する点を除いて、図1で説明した画像処理システム10の構成と同じとなっている。 FIG. 15 shows an example of an image processing system 20 according to another embodiment. The configuration of the image processing system 20 in the present embodiment is the image described with reference to FIG. 1 except that the imaging devices 100a-d have image processing units 804a-d (hereinafter collectively referred to as image processing units 804). The configuration of the processing system 10 is the same.
画像処理部804は、画像処理装置120に含まれる構成要素のうち、画像取得部250を除く構成要素を有している。そして、画像処理部804に含まれる各構成要素の機能および動作は、画像処理装置120に含まれる各構成要素が圧縮動画伸張部202による伸張処理によって得られた動画を処理することに替えて、撮像部102によって撮像された動画を処理するという点を除いて、画像処理装置120に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム20においても、図1から図14にかけて画像処理システム10に関連して説明した効果と同様の効果が得ることができる。 The image processing unit 804 has components other than the image acquisition unit 250 among the components included in the image processing apparatus 120. The function and operation of each component included in the image processing unit 804 is changed to that each component included in the image processing device 120 processes a moving image obtained by the decompression processing by the compressed moving image decompression unit 202. The functions and operations of each component included in the image processing apparatus 120 may be substantially the same except that the moving image captured by the imaging unit 102 is processed. Also in the image processing system 20 having such a configuration, the same effects as those described in relation to the image processing system 10 in FIGS. 1 to 14 can be obtained.
なお、画像処理部804は、撮像部102からRAW形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるRAW形式で表された複数の撮像画像をRAW形式のまま圧縮してよい。なお、画像処理部804は、RAW形式で表された複数の撮像画像から1以上の特徴領域を検出してよい。また、画像処理部804は、圧縮されたRAW形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部804は、動画を、図1〜図9に関連して画像処理装置120の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置170は、画像処理部804から取得した動画を伸張することにより、RAW形式で表された複数の撮像画像を取得することができる。画像処理装置170は、伸張することにより取得されたRAW形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置170は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。 Note that the image processing unit 804 acquires a moving image including a plurality of captured images expressed in the RAW format from the imaging unit 102, and converts the plurality of captured images expressed in the RAW format included in the acquired moving image in the RAW format. It may be compressed as it is. Note that the image processing unit 804 may detect one or more feature regions from a plurality of captured images expressed in the RAW format. The image processing unit 804 may compress a moving image including a plurality of captured images in the compressed RAW format. Note that the image processing unit 804 can compress the moving image by the compression method described as the operation of the image processing apparatus 120 with reference to FIGS. Further, the image processing apparatus 170 can acquire a plurality of captured images expressed in the RAW format by expanding the moving image acquired from the image processing unit 804. The image processing apparatus 170 enlarges each of the plurality of captured images expressed in the RAW format acquired by decompression for each region, and performs synchronization processing for each region. At this time, the image processing apparatus 170 may perform synchronization processing with higher accuracy in the feature region than in the region other than the feature region.
なお、画像処理装置170は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置170における超解像処理としては、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開2004−88615号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。なお、特開2004−88615号公報に記載された超解像処理は、オブジェクトに限定せずに使用できる画像処理パラメータである非特定パラメータにより実現されてよい。 Note that the image processing apparatus 170 may perform super-resolution processing on the image of the feature region in the captured image obtained by the synchronization processing. Super-resolution processing in the image processing apparatus 170 includes super-resolution processing based on principal component analysis as described in JP-A-2006-350498, or subject as described in JP-A-2004-88615. The super-resolution processing based on the movement of the can be illustrated. Note that the super-resolution processing described in Japanese Patent Laid-Open No. 2004-88615 may be realized by non-specific parameters that are image processing parameters that can be used without being limited to objects.
なお、画像処理装置170は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置170は、オブジェクトの一例としての顔部位(例えば、目、鼻、口など)毎に、超解像処理を施す。この場合、画像処理装置170は、特開2006−350498号公報に記載されたようなモデル等の学習データを、顔部位(例えば、目、鼻、口など)毎に記憶しておく。そして、画像処理装置170は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。 Note that the image processing apparatus 170 may perform super-resolution processing for each object included in the feature region. For example, when the feature region includes a human face image, the image processing apparatus 170 performs super-resolution processing for each face part (for example, eyes, nose, mouth, etc.) as an example of the object. In this case, the image processing apparatus 170 stores learning data such as a model described in Japanese Patent Application Laid-Open No. 2006-350498 for each face part (for example, eyes, nose, mouth). Then, the image processing apparatus 170 may perform super-resolution processing on the image of each face part using the learning data selected for each face part included in the feature region.
なお、モデル等の学習データは、複数の表情、複数の顔方向、複数の照明条件のそれぞれの組み合わせ毎に記憶されてよい。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、顔方向としては、正面、上方、下方、右方、左方、および後方を含む。照明条件としては、照明強度および照明の方向についての条件を含む。画像処理装置170は、顔の表情、顔方向、照明条件の組み合わせに対応する学習データを用いて、顔画像に超解像処理を施してよい。 Note that learning data such as a model may be stored for each combination of a plurality of facial expressions, a plurality of face directions, and a plurality of illumination conditions. The expression includes a face and a true face in each state of emotions and emotions, and the face direction includes front, upper, lower, right, left, and rear. Illumination conditions include conditions for illumination intensity and illumination direction. The image processing apparatus 170 may perform super-resolution processing on a face image using learning data corresponding to a combination of facial expression, face direction, and illumination conditions.
なお、顔の表情および顔の方向は、特徴領域に含まれる顔画像の画像内容に基づいて特定することができる。また、表情は、口および/または目の形状から特定することができ、顔の方向は、目、口、鼻、および耳の位置関係等から特定することができる。また、顔への照明強度および照明方向は、影の位置および大きさなど、顔画像の画像内容に基づき特定することができる。なお、顔の表情、顔方向、照明条件は画像処理装置120において特定され、出力部207から画像に対応づけて、特定された顔の表情、顔方向、照明条件が送信されてよい。画像処理装置170は、出力部207から受信した顔の表情、顔方向、照明条件に対応する学習データを利用して、超解像処理を施してよい。 The facial expression and the face direction can be specified based on the image content of the face image included in the feature region. The facial expression can be specified from the shape of the mouth and / or eyes, and the direction of the face can be specified from the positional relationship of the eyes, mouth, nose, and ears. Further, the illumination intensity and direction of the face can be specified based on the image content of the face image such as the position and size of the shadow. The facial expression, face direction, and illumination condition may be specified by the image processing apparatus 120, and the specified facial expression, face direction, and illumination condition may be transmitted from the output unit 207 in association with the image. The image processing apparatus 170 may perform super-resolution processing using learning data corresponding to facial expressions, face directions, and illumination conditions received from the output unit 207.
なお、モデル等の学習データとしては、顔全体を表現するモデルの他に、顔の部位毎のモデルを用いることができる。他にも、性別および/または人種毎の顔のモデルを用いることができる。モデルとしては人物に限らず、車両、船舶など、監視対象となる物体の種別毎にモデルを格納することができる。 In addition, as learning data such as a model, a model for each part of the face can be used in addition to a model expressing the entire face. Alternatively, gender and / or racial facial models can be used. The model is not limited to a person, but a model can be stored for each type of object to be monitored, such as a vehicle or a ship.
このように、画像処理装置170は、主成分分析(PCA)を用いて特徴領域の画像を再構成することができる。なお、画像処理装置170による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析(PCA)による学習・画像再構成の他に、局所保存投影(locality preserving projection:LPP)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent component analysis:ICA)、多次元スケーリング(multidimensional scaling:MDS)、サポートベクターマシン(サポートベクター回帰)、ニューラルネットワーク、隠れマルコフモデル、Bayes推論、最大事後確率推定、反復逆投影、Wavelet変換、局所線形埋め込み(locally linear embedding:LLE)、マルコフランダム場(Markov random field:MRF)等の手法を用いることができる。 In this way, the image processing apparatus 170 can reconstruct the image of the feature region using principal component analysis (PCA). As an image reconstruction method by the image processing apparatus 170 and a learning method for the image reconstruction, in addition to learning and image reconstruction by principal component analysis (PCA), local preserving projection (LPP) , Linear discriminant analysis (LDA), independent component analysis (ICA), multidimensional scaling (MDS), support vector machine (support vector regression), neural network, hidden Markov model, Bay Inference, maximum posterior probability estimation, iterative backprojection, Wavelet transform, locally linear embedding (locally linea) Techniques such as reembedding (LLE) and Markov random field (MRF) can be used.
また、学習データとしては、特開2006−350498号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をK−means法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分(例えば、重心値)が定められていてよい。 In addition to the model as described in Japanese Patent Application Laid-Open No. 2006-350498, the learning data includes low frequency components and high frequency components of the object image respectively extracted from a large number of sample images of the object. Good. Here, by clustering the low frequency components of the object image for each of the plurality of object types by the K-means method or the like, the low frequency components of the object image in each of the plurality of object types are converted into a plurality of clusters. It may be clustered. In addition, a typical low frequency component (for example, centroid value) may be determined for each cluster.
そして、画像処理装置170は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置170は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置170は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置170は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置170は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置170は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置170は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。 Then, the image processing apparatus 170 extracts a low frequency component from the image of the object included in the feature region in the captured image. Then, the image processing apparatus 170 determines, as a representative low-frequency component, a value that matches the extracted low-frequency component among the low-frequency component clusters extracted from the sample image of the extracted object type object. Identify the cluster. Then, the image processing apparatus 170 identifies a cluster of high frequency components associated with the low frequency component included in the identified cluster. In this way, the image processing apparatus 170 can specify a cluster of high-frequency components that are correlated with the low-frequency components extracted from the objects included in the captured image. Then, the image processing apparatus 170 may convert the image of the object into a high-quality image with higher image quality using high-frequency components that represent the specified cluster of high-frequency components. For example, the image processing apparatus 170 may add the high-frequency component selected for each object with a weight according to the distance from the center of each object to the processing target position on the face to the object image. Note that the representative high-frequency component may be generated by closed-loop learning. As described above, the image processing apparatus 170 selects and uses desired learning data for each object from learning data generated by learning for each object. There are cases where image quality can be improved.
なお、画像処理装置170は、K−means法等によりクラスタリングせず、記憶している低周波成分および高周波成分を用いて、入力画像を高画質化することもできる。例えば、画像処理装置170は、低解像度の訓練画像内の各パッチから抽出したエッジ成分である低解像度エッジ成分と、高解像度の訓練画像内の各パッチから抽出したエッジ成分である高解像度エッジ成分とのペアを記憶しておく。これらのエッジ成分は、PCAなどの特徴空間上のベクトルとして記憶されてよい。 Note that the image processing apparatus 170 can also improve the image quality of the input image by using the stored low frequency component and high frequency component without performing clustering by the K-means method or the like. For example, the image processing apparatus 170 has a low-resolution edge component that is an edge component extracted from each patch in the low-resolution training image and a high-resolution edge component that is an edge component extracted from each patch in the high-resolution training image. Remember the pair. These edge components may be stored as vectors on a feature space such as PCA.
高画質化対象の入力画像を高画質化する場合、画像処理装置170は、入力画像をバイキュービックなどの所定の方法で拡大して得られた拡大画像から、エッジ成分をパッチ毎に抽出する。画像処理装置170は、入力画像内の各パッチについて、抽出されたエッジ成分と記憶しているエッジ成分との間のノルムをPCAなどの特徴空間上で算出する。画像処理装置170は、予め定められた値より小さいノルムが算出された複数のパッチを、記憶しているパッチの中から選択する。そして、画像処理装置170は、注目パッチおよびその周囲パッチについて、抽出されたエッジ成分および選択された複数のパッチの高解像度エッジ成分のマルコフ確率場を設定する。画像処理装置170は、注目パッチ毎に設定したマルコフ確率場モデルのエネルギー最小化問題を反復確率伝搬法(LBP)などを用いて解くことにより、各注目パッチ内の画像に加算すべき高解像度エッジ成分を、記憶している高解像度エッジ成分の中から注目パッチ毎に選択する。画像処理装置170は、各パッチ毎に選択した各高解像度エッジ成分を、拡大画像の各パッチの画像成分に加算することにより、高画質画像を生成する。 When the input image to be improved in image quality is improved, the image processing apparatus 170 extracts edge components for each patch from the enlarged image obtained by enlarging the input image by a predetermined method such as bicubic. For each patch in the input image, the image processing apparatus 170 calculates a norm between the extracted edge component and the stored edge component on a feature space such as PCA. The image processing apparatus 170 selects, from the stored patches, a plurality of patches for which a norm smaller than a predetermined value is calculated. Then, the image processing apparatus 170 sets the Markov random field of the extracted edge component and the high-resolution edge components of the selected plurality of patches for the patch of interest and its surrounding patches. The image processing apparatus 170 solves the energy minimization problem of the Markov random field model set for each patch of interest using an iterative probability propagation method (LBP) or the like, thereby obtaining a high-resolution edge to be added to the image in each patch of interest. A component is selected for each target patch from the stored high-resolution edge components. The image processing apparatus 170 generates a high-quality image by adding each high-resolution edge component selected for each patch to the image component of each patch of the enlarged image.
他にも、画像処理装置170は、複数クラスのガウシアンミスクチャモデルを用いて、入力画像を高画質化することもできる。例えば、低解像度の訓練画像内の各パッチの画像ベクトルと、高解像度の訓練画像内の各パッチの画像ベクトルとを学習データとする。低解像度の訓練画像内の各パッチの画像ベクトルから求められたクラスタベクトルを用いて、ガウシアンミスクチャモデルにおける各クラスに対応する密度分布の平均および分散、ならびに各クラスに対する重みを、EMアルゴリズムなどにより算出する。画像処理装置170は、これらの平均、分散、および重みを学習データとして記憶しておく。高画質化対象の入力画像を高画質化する場合、画像処理装置170は、入力画像内の各パッチの画像ベクトル、当該画像ベクトルから求められたクラスタベクトル、学習データとして記憶している平均、分散、および重みとを用いて、高画質画像を生成する。 In addition, the image processing apparatus 170 can improve the quality of an input image by using a plurality of classes of Gaussian mixture models. For example, the image data of each patch in the low-resolution training image and the image vector of each patch in the high-resolution training image are used as learning data. Using the cluster vector obtained from the image vector of each patch in the low-resolution training image, the average and variance of the density distribution corresponding to each class in the Gaussian mixture model and the weight for each class are determined by the EM algorithm, etc. calculate. The image processing apparatus 170 stores these averages, variances, and weights as learning data. When the input image to be improved in image quality is improved, the image processing apparatus 170 uses the image vector of each patch in the input image, the cluster vector obtained from the image vector, the average and variance stored as learning data. And a weight are used to generate a high-quality image.
他にも、画像処理装置170は、入力画像から抽出された輪郭情報を用いて、入力画像だけから高画質画像を生成することもできる。例えば、画像処理装置170は、入力画像から抽出された輪郭付近の特定の画像領域を高解像度化する場合に、当該輪郭に沿う他の領域に含まれる画素の画素値を、特定の画像領域内に配置することで、特定の画像領域を高解像度化した高画質画像を生成することができる。例えば、画像処理装置170は、他の領域に含まれる画素の位置と輪郭の位置との間の位置関係に基づき、特定の画像領域内のいずれの位置に、当該画素の画素値を配置するかを決定して、決定した位置に当該画素値を配置することで、特定の画像領域を高解像度化することができる。 In addition, the image processing apparatus 170 can generate a high-quality image from only the input image using the contour information extracted from the input image. For example, when the resolution of a specific image region near the contour extracted from the input image is increased, the image processing apparatus 170 calculates the pixel value of the pixel included in the other region along the contour in the specific image region. By disposing them, it is possible to generate a high-quality image obtained by increasing the resolution of a specific image region. For example, the image processing apparatus 170 arranges the pixel value of the pixel at which position in the specific image area based on the positional relationship between the position of the pixel included in the other area and the position of the contour. And the pixel value is arranged at the determined position, so that the resolution of the specific image area can be increased.
なお、画像処理装置170は、このような輪郭情報を用いた高解像度化処理を、入力画像においてエッジを含むエッジ領域の近傍に限定して施してよい。エッジ領域以外の画像領域については、フィルタ方式などにより高解像度化してよい。例えば、画像処理装置170は、所定量以下のエッジ量が抽出された平坦領域については、フィルタ方式を用いて高解像度化してよい。画像処理装置170は、所定量より大きいエッジ量が抽出されたテクスチャ領域については、フィルタ方式を用いて高解像度化した画像に、入力画像から生成した条件が満たされるように修正を加えることで、高解像度化してよい。 Note that the image processing apparatus 170 may perform the resolution enhancement process using such contour information limited to the vicinity of the edge region including the edge in the input image. The image area other than the edge area may be increased in resolution by a filter method or the like. For example, the image processing apparatus 170 may increase the resolution of a flat region from which an edge amount equal to or less than a predetermined amount is extracted using a filter method. For the texture region from which the edge amount larger than the predetermined amount is extracted, the image processing apparatus 170 modifies the image that has been increased in resolution using the filter method so that the condition generated from the input image is satisfied, You may increase the resolution.
なお、以上説明したように、低周波成分および高周波成分を用いた高画質化処理、ガウシアンミスクチャモデル、および輪郭情報を用いた高解像度化処理は、オブジェクトが特定されない画像を高画質化する場合に利用することができる。パラメータ格納部1010は、画像処理装置170による高画質化処理に用いるパラメータ、例えば、上記低周波成分に対応する上記高周波成分のデータ、上記平坦領域を高解像度化するフィルタ、ガウシアンミクスチャモデルに関する上記学習データなどを格納することができる。オブジェクトが特定された画像を高画質化する処理としては、以下に説明するテンソルを用いた高画質化処理、局所保存投影を用いた高画質化処理などを例示することができる。 Note that, as described above, the high image quality processing using the low-frequency component and the high-frequency component, the Gaussian mixture model, and the high-resolution processing using the contour information are used to improve the image quality of an image in which no object is specified. Can be used. The parameter storage unit 1010 is a parameter used for image quality improvement processing by the image processing apparatus 170, for example, the high frequency component data corresponding to the low frequency component, the filter for increasing the resolution of the flat region, and the learning related to the Gaussian mixture model. Data etc. can be stored. Examples of the process for improving the image quality of an image in which an object is specified include an image quality improving process using a tensor described below, and an image quality improving process using a locally stored projection.
テンソルを用いた高画質化処理として、顔画像に対する高画質化処理を例に挙げて以下に説明する。解像度、パッチ位置、個人、および画素を学習対象とする4階テンソルを学習により算出するための学習画像として、解像度、人物、およびパッチ位置が異なる顔画像が用いられる。これらの学習画像を用いて、解像度、パッチ位置、人物、および画素値をそれぞれ対象として、特徴空間における固有ベクトルを算出する。算出した固有ベクトルの積による4階テンソルは、入力画像に含まれる顔画像から中解像度の顔画像を生成する場合に用いられる。なお、固有ベクトルは、固有値分解法、局所保存投影(LPP)などによる学習により算出することができる。なお、中解像度の顔画像から高周波成分を回復するために用いる高解像度パッチが、高解像度の学習画像から得られる。画像処理装置170は、得られたテンソルおよび高解像度パッチを記憶しておく。 As an image quality enhancement process using a tensor, an image quality enhancement process for a face image will be described below as an example. Face images with different resolutions, persons, and patch positions are used as learning images for calculating the fourth-order tensors whose learning targets are resolution, patch positions, individuals, and pixels. Using these learning images, eigenvectors in the feature space are calculated for resolution, patch position, person, and pixel value, respectively. The fourth-order tensor based on the product of the calculated eigenvectors is used when generating a medium-resolution face image from the face image included in the input image. The eigenvector can be calculated by learning using an eigenvalue decomposition method, local preservation projection (LPP), or the like. Note that a high-resolution patch used to recover a high-frequency component from a medium-resolution face image is obtained from the high-resolution learning image. The image processing apparatus 170 stores the obtained tensor and high resolution patch.
高画質化対象の入力画像に含まれる顔画像を高画質化する場合、画像処理装置170は、記憶している4階テンソルで顔画像をパッチ単位で変換することにより、中解像度の顔画像を形成するパッチを得る。そして、画像処理装置170は、当該中解像度のパッチおよび記憶している高解像度パッチとのマルコフ確率場を設定する。マルコフ確率場モデルの全パッチのエネルギー最小化問題を、逐次改良法(ICM)などを用いて解くことにより、高周波成分が回復された高解像度の顔画像が得られる。 In the case of improving the quality of a face image included in an input image to be improved in image quality, the image processing apparatus 170 converts the face image in units of patches using a stored fourth-order tensor, thereby converting an intermediate resolution face image. Get the patch to be formed. Then, the image processing apparatus 170 sets a Markov random field between the medium resolution patch and the stored high resolution patch. By solving the energy minimization problem of all the patches of the Markov random field model using a sequential improvement method (ICM) or the like, a high-resolution face image in which high-frequency components are recovered can be obtained.
なお、画像処理装置170は、中解像度のパッチを得る前処理として、入力画像に含まれる顔画像から低解像度の顔画像を生成する処理を行ってよい。この場合、画像処理装置170は、前処理により得られた低解像度の顔画像を上記の4階テンソルで変換することにより中解像度のパッチを得る。前処理では、顔の向き、照明度合い、表情、人物、および画素を対象として得られた5階テンソルを用いて、入力画像に含まれる顔画像を変換する処理を含むことができる。当該5階テンソルを得るための学習画像としては、顔の向き、照明度合い、表情、および人物が異なる顔画像が用いることができる。 Note that the image processing apparatus 170 may perform a process of generating a low-resolution face image from a face image included in the input image as a pre-process for obtaining a medium-resolution patch. In this case, the image processing apparatus 170 obtains a medium-resolution patch by converting the low-resolution face image obtained by the preprocessing with the above-described fourth-order tensor. The preprocessing can include a process of converting a face image included in the input image using a fifth-order tensor obtained with respect to the face direction, the degree of illumination, the facial expression, the person, and the pixels. As learning images for obtaining the fifth floor tensor, face images with different face orientations, illumination levels, facial expressions, and persons can be used.
また、前処理として、入力画像に含まれる顔画像の位置合わせ処理を含むことが望ましい。例えば、顔画像をアフィン変換により位置合わせをしてよい。より具体的には、アフィン変換のパラメータを最適化して、アフィン変換後の顔画像と学習用の顔画像との位置を合わせる。なお、学習用の顔画像についても当然に、互いの位置が合うよう位置合わせ処理が行われることが望ましい。 In addition, it is desirable that the pre-processing includes a positioning process of the face image included in the input image. For example, the face image may be aligned by affine transformation. More specifically, the affine transformation parameters are optimized to match the positions of the face image after affine transformation and the learning face image. Of course, it is desirable that the alignment processing is performed so that the learning face images are aligned with each other.
また、局所保存投影(LPP)を用いた高画質化処理の一例を以下に説明する。学習段階では、学習画像としての低解像度画像および高解像度画像のそれぞれから、局所保存投影(LPP)により固有ベクトルを算出する。LPP空間において、低解像度画像と高解像度画像とを動径基底関数によりネットワークの重みとして関連づける。また、学習画像の低解像度画像を入力として得られた中解像度画像と低解像度画像との残差画像、および、学習画像の高解像度画像と当該中解像度画像との残差画像を算出する。画像処理装置170は、中解像度画像と低解像度画像との残差画像、および、高解像度画像と中解像度画像との残差画像をパッチ毎に記憶しておく。 An example of the high image quality processing using local storage projection (LPP) will be described below. In the learning stage, eigenvectors are calculated from each of the low-resolution image and the high-resolution image as learning images by local preservation projection (LPP). In the LPP space, the low resolution image and the high resolution image are associated as network weights by a radial basis function. Further, a residual image between the medium resolution image and the low resolution image obtained by using the low resolution image of the learning image as an input, and a residual image between the high resolution image of the learning image and the medium resolution image are calculated. The image processing device 170 stores a residual image between the medium resolution image and the low resolution image and a residual image between the high resolution image and the medium resolution image for each patch.
高画質化対象の入力画像を高画質化する場合、画像処理装置170は、入力画像から局所保存投影(LPP)により固有ベクトル、および、学習段階で得られた動径基底関数から中解像度画像を生成する。画像処理装置170は、当該中解像度画像と入力顔画像との残差画像を算出する。当該残差画像から、局所線形埋め込み(LLE)および最近傍探索により、対応する高解像度画像と中解像度画像との残差画像を、記憶している残差画像の中からパッチ毎に選択する。そして、画像処理装置170は、選択した高解像度画像と中解像度画像との残差画像を平滑化して得られた残差画像を、入力画像から生成された中解像度画像に加算することより、高画質画像を生成する。 When the input image to be improved in image quality is improved, the image processing device 170 generates an eigenvector from the input image by local preservation projection (LPP) and a medium resolution image from the radial basis function obtained in the learning stage. To do. The image processing device 170 calculates a residual image between the medium resolution image and the input face image. From the residual image, a residual image of the corresponding high resolution image and medium resolution image is selected for each patch from the stored residual images by local linear embedding (LLE) and nearest neighbor search. Then, the image processing apparatus 170 adds the residual image obtained by smoothing the residual image between the selected high-resolution image and the medium-resolution image to the medium-resolution image generated from the input image. Generate a quality image.
なお、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部804は、撮像部102から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部804は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部804は、主成分ベクトルおよび重みづけ係数を画像処理装置170に送信してよい。この場合、画像処理装置170においては、画像処理部804から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部804は、特開2006−350498号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。 Note that in super-resolution processing based on principal component analysis as described in JP-A-2006-350498, an image of an object is represented by a principal component vector and a weighting coefficient. The data amounts of these weighting coefficients and principal component vectors are significantly smaller than the data amount of pixel data included in the object image itself. Therefore, the image processing unit 804 may calculate the weighting coefficient from the image of the object included in the feature area in the compression processing for compressing the image of the feature area in the plurality of captured images acquired from the imaging unit 102. That is, the image processing unit 804 can compress the image of the object included in the feature region by representing the principal component vector and the weighting coefficient. Then, the image processing unit 804 may transmit the principal component vector and the weighting coefficient to the image processing apparatus 170. In this case, the image processing apparatus 170 can reconstruct an image of an object included in the feature region using the principal component vector and the weighting coefficient acquired from the image processing unit 804. Note that the image processing unit 804 is included in the feature region using a model that represents an object with various feature parameters in addition to a model based on principal component analysis as described in JP-A-2006-350498. Needless to say, an image of an object can be compressed.
なお、図1〜14に関連して説明した画像処理システム10の構成においても、画像処理装置170または表示装置180は、高画質化処理として、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム10および画像処理システム20において、圧縮部240は、上述した画像処理装置120と同様に、画像を主成分ベクトルおよび重みづけ係数で表すことによって、撮像画像をさらに圧縮することもできる。 In the configuration of the image processing system 10 described with reference to FIGS. 1 to 14, the image processing device 170 or the display device 180 performs the above-described super-resolution processing on the image of the feature region as the image quality enhancement processing. be able to. Further, in the image processing system 10 and the image processing system 20, the compression unit 240 may further compress the captured image by representing the image with a principal component vector and a weighting coefficient, as in the image processing apparatus 120 described above. it can.
以上、画像処理システム10としての動作を、監視システムを例に挙げて説明した。この発明の他の用途としては、複写機等のスキャナ機器によりスキャニングされたドキュメントに対する高画質化処理および符号化に適用することができる。例えば、文字、図面、表、写真などの各領域を特徴領域とみなすと、それらの領域に対する高解像度化処理として、上記の超解像処理などの高画質化処理を適用することができる。また、それら特徴領域の検出、符号化に、上記の特徴領域検出処理、圧縮処理を適用することができる。同様に、内視鏡システムにおいても、体内部位の検出、高画質化、及び符号化に、上記の特徴領域検出処理、高画質化処理、圧縮処理を適用することができる。 The operation as the image processing system 10 has been described above by taking the monitoring system as an example. As another application of the present invention, it can be applied to high image quality processing and encoding for a document scanned by a scanner device such as a copying machine. For example, when each region such as a character, a drawing, a table, and a photograph is regarded as a feature region, the image quality enhancement processing such as the super-resolution processing described above can be applied as the resolution enhancement processing for those regions. In addition, the feature region detection processing and compression processing described above can be applied to the detection and encoding of the feature regions. Similarly, in the endoscope system, the above-described feature region detection processing, high image quality processing, and compression processing can be applied to detection of a body part, high image quality, and encoding.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
10 画像処理システム
20 画像処理システム
80 記録媒体
100 撮像装置
102 撮像部
104 撮像画像圧縮部
110 通信ネットワーク
120 画像処理装置
130 人物
140 移動体
150 監視対象空間
160 空間
165 空間
170 画像処理装置
175 画像DB
180 表示装置
201 圧縮動画取得部
202 圧縮動画伸張部
203 特徴領域特定部
206 処理部
207 出力部
210 圧縮制御部
232 画像分割部
234 固定値化部
236 圧縮処理部
240 圧縮部
250 画像取得部
280 外部情報取得部
301 画像取得部
302 解析部
310 伸張制御部
320 伸張部
322 復号器
330 画像処理部
380 外部情報取得部
510 画質変換部
520 差分処理部
522 階層間差分処理部
530 符号化部
532 符号器
610 第1特徴領域特定部
620 第2特徴領域特定部
622 部分領域判断部
624 特徴領域判断部
630 領域推定部
640 高画質化領域決定部
650 パラメータ格納部
660 画像生成部
700 撮像画像
710、722 領域
720 画像
800 撮像画像
804 画像処理部
810 領域
820 高画質画像
900 画像領域
910 部分領域
1000 画像生成部
1010 パラメータ格納部
1020 属性特定部
1030 特定オブジェクト領域検出部
1040 パラメータ選択部
1050 重み決定部
1060 パラメータ生成部
1200 画像
1210、1220、1230、1250 領域
1300 画像取得部
1310 第1画像処理部
1320 特徴領域特定部
1330 パラメータ決定部
1340 表示制御部
1350 第2画像処理部
1380 外部情報取得部
1390 表示部
1400 表示エリア
1410 特徴領域エリア
1412 所定画質画像
1414 高画質画像
1420 特徴領域エリア
1422 所定画質画像
1424 高画質画像
1430 特徴領域エリア
1432 所定画質画像
1434 高画質画像
DESCRIPTION OF SYMBOLS 10 Image processing system 20 Image processing system 80 Recording medium 100 Imaging device 102 Imaging part 104 Captured image compression part 110 Communication network 120 Image processing apparatus 130 Person 140 Mobile body 150 Monitored space 160 Space 165 Space 170 Image processing apparatus 175 Image DB
180 Display device 201 Compressed moving image acquisition unit 202 Compressed moving image decompression unit 203 Characteristic region specifying unit 206 Processing unit 207 Output unit 210 Compression control unit 232 Image dividing unit 234 Fixed value conversion unit 236 Compression processing unit 240 Compression unit 250 Image acquisition unit 280 External Information acquisition unit 301 Image acquisition unit 302 Analysis unit 310 Decompression control unit 320 Decompression unit 322 Decoder 330 Image processing unit 380 External information acquisition unit 510 Image quality conversion unit 520 Difference processing unit 522 Inter-layer difference processing unit 530 Encoding unit 532 Encoder 610 First feature region specifying unit 620 Second feature region specifying unit 622 Partial region determining unit 624 Feature region determining unit 630 Region estimating unit 640 High image quality region determining unit 650 Parameter storage unit 660 Image generating unit 700 Captured image 710, 722 region 720 image 800 captured image 804 image processing unit 810 820 High-quality image 900 Image region 910 Partial region 1000 Image generation unit 1010 Parameter storage unit 1020 Attribute specification unit 1030 Specific object region detection unit 1040 Parameter selection unit 1050 Weight determination unit 1060 Parameter generation unit 1200 Image 1210, 1220, 1230, 1250 region 1300 Image acquisition unit 1310 First image processing unit 1320 Feature region specifying unit 1330 Parameter determination unit 1340 Display control unit 1350 Second image processing unit 1380 External information acquisition unit 1390 Display unit 1400 Display area 1410 Feature region area 1412 Predetermined image quality 1414 High Image quality image 1420 Feature area area 1422 Predetermined image quality image 1424 High quality image 1430 Feature area area 1432 Predetermined image quality image 1434 High quality image
Claims (19)
入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する特定オブジェクト領域検出部と、
前記特定オブジェクト領域が検出された前記入力画像を高画質化する場合における、前記特定パラメータおよび前記非特定パラメータの重みを決定する重み決定部と、
前記重み決定部が決定した重みに基づいて、前記特定パラメータおよび前記非特定パラメータをともに用いて前記入力画像を高画質化した高画質画像を生成する画像生成部と
を備える画像処理装置。 A parameter storage unit that stores a specific parameter that is an image processing parameter used to improve the image quality of an image of a specific object, and a non-specific parameter that is an image processing parameter used to improve the image quality of an image in which no object is specified;
A specific object region detection unit that detects a specific object region that is a region of a specific object from an input image;
A weight determining unit that determines weights of the specific parameter and the non-specific parameter when the input image in which the specific object region is detected is improved in image quality;
An image processing apparatus comprising: an image generation unit configured to generate a high-quality image obtained by improving the image quality of the input image using both the specific parameter and the non-specific parameter based on the weight determined by the weight determination unit.
請求項1に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein the weight determination unit determines the weight for which the weight for the specific parameter is greater than the non-specific parameter for the image of the specific object region in the input image.
請求項1または2に記載の画像処理装置。 3. The image processing device according to claim 1, wherein the weight determination unit determines the weight having a higher weight for the specific parameter with respect to an image in a region inside the specific object region in the input image. .
請求項1乃至3のいずれかに記載の画像処理装置。 4. The weight determination unit according to claim 1, wherein the weight determination unit determines the weight having a higher weight for the specific parameter for an image of the specific object region having a higher detection reliability as the region of the specific object. An image processing apparatus according to claim 1.
請求項1乃至4のいずれかに記載の画像処理装置。 The weight determination unit determines the weight that is weighted more with respect to the specific parameter as it is closer to the specific object region with respect to an image of a non-specific object region that is a region other than the specific object region. 5. The image processing apparatus according to any one of 4 to 4.
請求項1乃至5のいずれかに記載の画像処理装置。 6. The weight determination unit according to any one of claims 1 to 5, wherein the weight determination unit determines a weight that is greater than the specific parameter and is weighted with respect to the non-specific parameter for an image of a non-specific object region that is an area other than the specific object area. An image processing apparatus according to claim 1.
請求項1乃至6のいずれかに記載の画像処理装置。 The parameter storage unit is configured to perform learning using the specific parameter calculated by learning using a plurality of images of the specific object as a teacher image and a plurality of images that are not images of the specific object as a teacher image. The image processing apparatus according to claim 1, wherein the calculated non-specific parameter is stored.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter for increasing the resolution of an image.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter that increase the number of gradations of an image.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter that increase the number of colors of an image.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter that reduce an image noise.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter for reducing an artifact in an image.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter that reduce image blur.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter for sharpening an image and the non-specific parameter.
請求項1乃至7のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the parameter storage unit stores the specific parameter and the non-specific parameter for increasing the frame rate of a moving image.
をさらに備え、
前記画像生成部は、前記パラメータ生成部が生成した前記合成パラメータを用いて前記入力画像を高画質化することにより、前記高画質画像を生成する
を有する請求項1乃至15のいずれかに記載の画像処理装置。 A parameter generation unit that generates a synthesis parameter by combining the non-specific parameter and the specific parameter with the weight determined by the weight determination unit;
The said image generation part has the said high-quality image by producing | generating the input image using the said synthetic | combination parameter which the said parameter generation part produced | generated, and has produced | generated the said high quality image. Image processing device.
をさらに備え、
前記パラメータ格納部は、前記外部情報取得部が取得した前記特定パラメータおよび前記非特定パラメータの少なくとも一方を格納する
請求項1乃至16のいずれかに記載の画像処理装置。 An external information acquisition unit that externally acquires at least one of the specific parameter and the non-specific parameter stored in the parameter storage unit;
The image processing apparatus according to claim 1, wherein the parameter storage unit stores at least one of the specific parameter and the non-specific parameter acquired by the external information acquisition unit.
入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する特定オブジェクト領域検出段階と、
前記特定オブジェクト領域が検出された前記入力画像を高画質化する場合における、前記特定パラメータおよび前記非特定パラメータの重みを決定する重み決定段階と、
前記重み決定段階において決定された重みに基づいて、前記特定パラメータおよび前記非特定パラメータをともに用いて前記入力画像を高画質化した高画質画像を生成する画像生成段階と
を備える画像処理方法。 A parameter storage stage for storing a specific parameter that is an image processing parameter used to improve the image quality of an image of a specific object, and a non-specific parameter that is an image processing parameter used to improve the image quality of an image for which no object is specified;
A specific object area detection stage for detecting a specific object area that is an area of the specific object from the input image;
A weight determination step for determining weights of the specific parameter and the non-specific parameter in the case of improving the image quality of the input image in which the specific object region is detected;
An image processing method comprising: an image generation step of generating a high-quality image obtained by improving the image quality of the input image using both the specific parameter and the non-specific parameter based on the weight determined in the weight determination step.
特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、および、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納するパラメータ格納部、
入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する特定オブジェクト領域検出部、
前記特定オブジェクト領域が検出された前記入力画像を高画質化する場合における、前記特定パラメータおよび前記非特定パラメータの重みを決定する重み決定部、
前記重み決定部が決定した重みに基づいて、前記特定パラメータおよび前記非特定パラメータをともに用いて前記入力画像を高画質化した高画質画像を生成する画像生成部
を備えるプログラム。 A program for an image processing apparatus, comprising:
A parameter storage unit that stores a specific parameter that is an image processing parameter used to improve the image quality of an image of a specific object, and a non-specific parameter that is an image processing parameter used to improve the image quality of an image in which no object is specified;
A specific object region detection unit that detects a specific object region that is a region of a specific object from an input image;
A weight determining unit that determines the weights of the specific parameter and the non-specific parameter when the input image in which the specific object region is detected has high image quality;
A program comprising an image generation unit that generates a high-quality image obtained by improving the image quality of the input image using both the specific parameter and the non-specific parameter based on the weight determined by the weight determination unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102456A JP5352332B2 (en) | 2009-04-20 | 2009-04-20 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102456A JP5352332B2 (en) | 2009-04-20 | 2009-04-20 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010250774A true JP2010250774A (en) | 2010-11-04 |
JP5352332B2 JP5352332B2 (en) | 2013-11-27 |
Family
ID=43312995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009102456A Active JP5352332B2 (en) | 2009-04-20 | 2009-04-20 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5352332B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015201819A (en) * | 2014-04-10 | 2015-11-12 | 株式会社東芝 | Image quality improvement system, image quality improvement method, and program |
JPWO2021090469A1 (en) * | 2019-11-08 | 2021-05-14 | ||
CN114612337A (en) * | 2022-03-21 | 2022-06-10 | 北京达佳互联信息技术有限公司 | Image processing method, image processing device, electronic equipment and storage medium |
WO2024117515A1 (en) * | 2022-11-29 | 2024-06-06 | 삼성전자주식회사 | Electronic device and method for generating rendering image according to scenario context |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1191169A (en) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | Image processing apparatus |
JP2005122688A (en) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
JP2006319714A (en) * | 2005-05-13 | 2006-11-24 | Konica Minolta Photo Imaging Inc | Method, apparatus, and program for processing image |
JP2007094549A (en) * | 2005-09-27 | 2007-04-12 | Fujifilm Corp | Image processing method, device and program |
WO2007072907A1 (en) * | 2005-12-21 | 2007-06-28 | Nec Corporation | Gray-scale correcting method, gray-scale correcting device, gray-scale correcting program, and image device |
JP2008278333A (en) * | 2007-05-01 | 2008-11-13 | Canon Inc | Image processing device and method |
-
2009
- 2009-04-20 JP JP2009102456A patent/JP5352332B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1191169A (en) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | Image processing apparatus |
JP2005122688A (en) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
JP2006319714A (en) * | 2005-05-13 | 2006-11-24 | Konica Minolta Photo Imaging Inc | Method, apparatus, and program for processing image |
JP2007094549A (en) * | 2005-09-27 | 2007-04-12 | Fujifilm Corp | Image processing method, device and program |
WO2007072907A1 (en) * | 2005-12-21 | 2007-06-28 | Nec Corporation | Gray-scale correcting method, gray-scale correcting device, gray-scale correcting program, and image device |
JP2008278333A (en) * | 2007-05-01 | 2008-11-13 | Canon Inc | Image processing device and method |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015201819A (en) * | 2014-04-10 | 2015-11-12 | 株式会社東芝 | Image quality improvement system, image quality improvement method, and program |
JPWO2021090469A1 (en) * | 2019-11-08 | 2021-05-14 | ||
WO2021090469A1 (en) * | 2019-11-08 | 2021-05-14 | オリンパス株式会社 | Information processing system, endoscope system, trained model, information storage medium, and information processing method |
CN114651439A (en) * | 2019-11-08 | 2022-06-21 | 奥林巴斯株式会社 | Information processing system, endoscope system, learned model, information storage medium, and information processing method |
JP7303896B2 (en) | 2019-11-08 | 2023-07-05 | オリンパス株式会社 | Information processing system, endoscope system, trained model, information storage medium, and information processing method |
CN114651439B (en) * | 2019-11-08 | 2024-03-05 | 奥林巴斯株式会社 | Information processing system, endoscope system, information storage medium, and information processing method |
CN114612337A (en) * | 2022-03-21 | 2022-06-10 | 北京达佳互联信息技术有限公司 | Image processing method, image processing device, electronic equipment and storage medium |
WO2024117515A1 (en) * | 2022-11-29 | 2024-06-06 | 삼성전자주식회사 | Electronic device and method for generating rendering image according to scenario context |
Also Published As
Publication number | Publication date |
---|---|
JP5352332B2 (en) | 2013-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5684488B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010272109A (en) | Image processing system, image processing method, and program | |
JP5193931B2 (en) | Image processing apparatus, image processing method, and program | |
JP5366855B2 (en) | Image processing method and apparatus, and program | |
JP5335713B2 (en) | Image processing method and apparatus, and program | |
CN102473280B (en) | Image processing device and method, data processing device and method, program, and recording medium | |
JP5178662B2 (en) | Image processing apparatus and method, data processing apparatus and method, and program | |
JP5161845B2 (en) | Image processing apparatus and method, data processing apparatus and method, and program | |
JP5506272B2 (en) | Image processing apparatus and method, data processing apparatus and method, and program | |
JP5506274B2 (en) | Image processing apparatus and method, data processing apparatus and method, and program | |
WO2009122760A1 (en) | Image processing device, image processing method, and computer-readable medium | |
JP5352332B2 (en) | Image processing apparatus, image processing method, and program | |
JP5337970B2 (en) | Image processing system, image processing method, and program | |
JP2009268088A (en) | Image processing system, image processing method, and program | |
WO2009125578A1 (en) | Image processing system, image processing method, and computer-readable medium | |
JP2009273117A (en) | Image processing system, image processing method, and program | |
JP5337969B2 (en) | Image processing system, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5352332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |