JP5956813B2 - Image processing apparatus and control method thereof - Google Patents

Image processing apparatus and control method thereof Download PDF

Info

Publication number
JP5956813B2
JP5956813B2 JP2012090456A JP2012090456A JP5956813B2 JP 5956813 B2 JP5956813 B2 JP 5956813B2 JP 2012090456 A JP2012090456 A JP 2012090456A JP 2012090456 A JP2012090456 A JP 2012090456A JP 5956813 B2 JP5956813 B2 JP 5956813B2
Authority
JP
Japan
Prior art keywords
image
image processing
engine
recording
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012090456A
Other languages
Japanese (ja)
Other versions
JP2013219686A (en
Inventor
邦宏 白井
邦宏 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012090456A priority Critical patent/JP5956813B2/en
Publication of JP2013219686A publication Critical patent/JP2013219686A/en
Application granted granted Critical
Publication of JP5956813B2 publication Critical patent/JP5956813B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、画像処理装置及びその制御処理方法に関する。
The present invention relates to an image processing apparatus and a control processing method thereof.

静止画撮影を目的としたデジタルカメラにおいても、動画撮影機能を搭載していることが一般的となっている。また、このような静止画撮影用のデジタルカメラに搭載された動画撮影機能に、上述したようなログの機能を持たせることが検討されている。このような構成によれば、高画質な静止画撮影が可能なデジタルカメラをデジタルシネマの撮影が可能なデジタルシネマカメラとして利用することが可能になる。   It is common for digital cameras intended for still image shooting to have a moving image shooting function. In addition, it has been studied to provide the above-described log function to the moving image shooting function mounted on the digital camera for still image shooting. According to such a configuration, a digital camera capable of photographing a high-quality still image can be used as a digital cinema camera capable of photographing a digital cinema.

デジタルシネマへの対応において、重要なことの一つは、4096画素×2160画素という画素数(以下、4k2kという)での記録が要求されることである。このような画素数において画像記録を行なったり表示出力を行なったりしようとすると、静止画撮影に最適化されたデジタルカメラではシステムリソースの不足が課題となる。特許文献1には、現像処理のスピードを向上するために、撮像装置に現像処理のための複数のエンジンを設けた構成が記載されている。特許文献1によれば、連射撮影により入力される画像信号を待機中のエンジンを選択して処理させることで、ワークメモリやバッファメモリの増加を抑えながら処理スピードを向上させている。   One of the important things in dealing with digital cinema is that recording with a pixel count of 4096 pixels × 2160 pixels (hereinafter referred to as 4k2k) is required. When image recording or display output is performed with such a number of pixels, a shortage of system resources becomes a problem in a digital camera optimized for still image shooting. Patent Document 1 describes a configuration in which a plurality of engines for development processing are provided in an imaging apparatus in order to improve the speed of development processing. According to Patent Document 1, the processing speed is improved while suppressing an increase in the work memory and the buffer memory by selecting and processing an image signal input by continuous shooting by selecting a waiting engine.

特許第4250511号公報Japanese Patent No. 4250511

しかしながら、特許文献1は、あくまで静止画の連射撮影における現像処理の高速化を達成する構成が記載されているのみであり、動画のフレームに対応した現像処理や、動画の記録と表示を同時に行うための構成については何等示唆されていない。したがって、4k2kでの動画記録と撮影中の動画の表示を同時に行うという要求に適したものではない。   However, Patent Document 1 only describes a configuration that achieves high-speed development processing in continuous shooting of still images, and simultaneously performs development processing corresponding to moving image frames and recording and display of moving images. There is no suggestion about the configuration for this. Therefore, it is not suitable for the requirement of simultaneously recording a moving image in 4k2k and displaying a moving image during shooting.

本発明は上記の課題に鑑みてなされたものであり、限られたシステムリソースを用いて、たとえば4k2kのような画素数の大きい動画について記録と表示を同時に実行可能とすることを目的とする。
The present invention has been made in view of the above problems, with limited system resources, and an object thereof is to enable execution record and display the time for example the number of pixels of large video such as 4k2k.

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
第1の画像処理エンジンと、前記第1の画像処理エンジンよりも画像処理の処理負荷が低減された第2の画像処理エンジンを有する画像処理エンジンを複数備え、
撮像によって得られた画像信号の現像を行い、記録媒体に記録される記録用画像と表示手段に表示される表示用画像を出力する画像処理装置であって、
第1の記録モードと第2の記録モードを設定可能な設定手段と、
前記設定手段により前記第1の記録モードが設定された場合は、
前記複数の画像処理エンジンの夫々が有する第2の画像処理エンジンを並行動作させて前記記録用画像を出力するとともに、前記第1の画像処理エンジンを動作させて前記表示用画像を出力し、
前記設定手段により前記第2の記録モードが設定された場合は、
前記複数の画像処理エンジンの夫々が有する第1の画像処理エンジンを並行動作させて前記記録用画像を出力するとともに、前記第2の画像処理エンジンを動作させて前記表示用画像を出力するように制御する制御手段とを備える。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention has the following arrangement. That is,
A plurality of image processing engines having a first image processing engine and a second image processing engine in which a processing load of image processing is reduced as compared with the first image processing engine;
An image processing apparatus that develops an image signal obtained by imaging and outputs a recording image recorded on a recording medium and a display image displayed on a display unit,
Setting means capable of setting the first recording mode and the second recording mode;
When the first recording mode is set by the setting means,
The second image processing engine included in each of the plurality of image processing engines is operated in parallel to output the recording image, the first image processing engine is operated to output the display image,
When the second recording mode is set by the setting means,
The first image processing engine included in each of the plurality of image processing engines is operated in parallel to output the recording image, and the second image processing engine is operated to output the display image. Control means for controlling.

本発明によれば、限られたシステムリソースを用いて、たとえば4k2kのような画素数の大きい動画について記録と表示を同時に実行することが可能となる。   According to the present invention, it is possible to simultaneously record and display a moving image having a large number of pixels, such as 4k2k, using limited system resources.

実施形態によるデジタルカメラの構成例を示すブロック図。1 is a block diagram illustrating a configuration example of a digital camera according to an embodiment. 撮像部、エンジン、記録部、表示部の詳細を示すブロック図。The block diagram which shows the detail of an imaging part, an engine, a recording part, and a display part. 画像処理エンジンAのノイズ除去部の構成例を示すブロック図。The block diagram which shows the structural example of the noise removal part of the image processing engine A. FIG. 4k2k動画撮影時の動作を説明する図。The figure explaining the operation | movement at the time of 4k2k video recording. 4k2k動画撮影時の動作を説明する図。The figure explaining the operation | movement at the time of 4k2k video recording.

以下、添付の図面を参照して本発明の好適な実施形態について説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

図1は、実施形態によるデジタルカメラ100における、撮像、現像、出力に関わる構成例を示すブロック図である。コントローラ130は不図示のCPU、ROMやRAM等のメモリを有し、以下に説明する各部を制御したり、各部の機能の一部もしくは全てを実現したりする。すなわち、以下に説明する構成は、ハードウェアにより、ソフトウェアにより、あるいはハードウェアとソフトウェアの協働により実現される。   FIG. 1 is a block diagram illustrating a configuration example relating to imaging, development, and output in the digital camera 100 according to the embodiment. The controller 130 includes a CPU (not shown), a memory such as a ROM and a RAM, and controls each unit described below and implements some or all of the functions of each unit. That is, the configuration described below is realized by hardware, by software, or by cooperation of hardware and software.

撮像部101は、撮影光学系および撮像素子を含み、撮像素子の撮像面に結像された光学像を電気信号に変換し、取得された電気信号をデジタル信号に変換して出力する。撮像部101の構成を図2(a)に示す。図2(a)において、撮影画面範囲内の被写体像は撮影光学系201を介して撮像素子としてのCMOS202の撮像面上に結像する。なお、撮像素子はCMOSに限られるものではなく、CCD等の他の素子であってもよいことは言うまでもない。CDS/AGC回路203は、CMOS202から得られた電気信号に相関二重サンプリング/ゲイン調整を行なう。AD変換器204は、CDS/AGC回路203から出力される信号をデジタル変換し、画像信号として出力する。また、撮影光学系201は、絞りおよびフォーカスのための駆動機構206を有し、AE/AF部205はコントローラ130からの指示により駆動機構206の駆動を制御する。このようなAE/AF部205、駆動機構206により、自動焦点機能や自動露出機能が実現される。   The imaging unit 101 includes an imaging optical system and an imaging device, converts an optical image formed on the imaging surface of the imaging device into an electrical signal, converts the acquired electrical signal into a digital signal, and outputs the digital signal. The configuration of the imaging unit 101 is shown in FIG. In FIG. 2A, the subject image within the shooting screen range is formed on the imaging surface of the CMOS 202 as an imaging device via the shooting optical system 201. Needless to say, the image sensor is not limited to a CMOS, and may be another element such as a CCD. The CDS / AGC circuit 203 performs correlated double sampling / gain adjustment on the electric signal obtained from the CMOS 202. The AD converter 204 digitally converts the signal output from the CDS / AGC circuit 203 and outputs it as an image signal. The photographing optical system 201 has a drive mechanism 206 for aperture and focus, and the AE / AF unit 205 controls the drive of the drive mechanism 206 according to an instruction from the controller 130. By such an AE / AF unit 205 and a drive mechanism 206, an automatic focus function and an automatic exposure function are realized.

図1に戻り、WB回路102は、撮像部101(AD変換器204)から出力された画像信号に対してホワイトバランス調整を行なう。WB回路102においてホワイトバランスが調整された画像信号はセレクタ103に供給される。セレクタ103では、コントローラ130の制御の下、ユーザの指示により選択された動作モードに応じて、入力された画像信号の経路を切り替える。セレクタ103の詳しい動作については後述する。   Returning to FIG. 1, the WB circuit 102 performs white balance adjustment on the image signal output from the imaging unit 101 (AD converter 204). The image signal whose white balance has been adjusted in the WB circuit 102 is supplied to the selector 103. The selector 103 switches the path of the input image signal under the control of the controller 130 according to the operation mode selected by the user's instruction. Detailed operation of the selector 103 will be described later.

本実施形態のデジタルカメラ100では、現像処理のためのエンジンとして第1エンジン106と第2エンジン107の2つのエンジンを含む、所謂ツインエンジンを形成している。第1エンジン106と第2エンジン107は同様の構成を有し、ともに、2つの異なるタイプの画像処理エンジン、すなわち第1の画像処理エンジンとしての画像処理エンジンA121と第2の画像処理エンジンとしての画像処理エンジンB122を有している。ここで、画像処理エンジンA121は静止画撮影のための高画質な画像を生成するために最適化された画像処理エンジンである。他方、画像処理エンジンB122は、生成される画質の面では画像処理エンジンA121に及ばないものの、画像処理エンジンA121よりも低負荷なエンジンである。   In the digital camera 100 of the present embodiment, a so-called twin engine including two engines of a first engine 106 and a second engine 107 is formed as an engine for development processing. The first engine 106 and the second engine 107 have the same configuration, and both are two different types of image processing engines, that is, an image processing engine A121 as a first image processing engine and a second image processing engine. An image processing engine B122 is included. Here, the image processing engine A121 is an image processing engine optimized for generating a high-quality image for still image shooting. On the other hand, the image processing engine B122 is an engine having a lower load than the image processing engine A121, although it does not reach the image processing engine A121 in terms of generated image quality.

縮小部104は、セレクタ103から提供された画像信号に縮小処理を施して、第2エンジン107の画像処理エンジンA121に縮小された画像を提供する。同様に、縮小部105は、セレクタ103から提供された画像信号に縮小処理を施して、第2エンジン107の画像処理エンジンB122に縮小された画像を提供する。縮小部104は高画質な画像処理エンジンA121に接続している為、高画質なリサイズ処理(例えば多タップ処理や高精度画素補間機能を所持するリサイズ処理)が可能となっている。また、縮小部105は高速処理を前提にしている為、単純なリサイズ処理(例えば間引き処理)を備えている。コントローラ130は縮小部104,105に対して、縮小の実行/非実行を指示する。縮小の非実行が指示された場合、縮小部104,105は入力され画像信号をスルーして、そのまま画像処理エンジンに供給する。図3においては縮小部104、105は第2エンジン107にのみ接続されていてもよいし、第1エンジン106と第2エンジン107の両方に接続されていても良い。   The reduction unit 104 performs reduction processing on the image signal provided from the selector 103 and provides the reduced image to the image processing engine A 121 of the second engine 107. Similarly, the reduction unit 105 performs a reduction process on the image signal provided from the selector 103 and provides the reduced image to the image processing engine B 122 of the second engine 107. Since the reduction unit 104 is connected to the high-quality image processing engine A121, high-quality resize processing (for example, resizing processing having a multi-tap processing or a high-precision pixel interpolation function) is possible. Further, since the reduction unit 105 is premised on high-speed processing, it includes simple resizing processing (for example, thinning processing). The controller 130 instructs the reduction units 104 and 105 to execute / not execute reduction. When instructing non-execution of reduction, the reduction units 104 and 105 pass through the input image signal and supply it directly to the image processing engine. In FIG. 3, the reduction units 104 and 105 may be connected only to the second engine 107, or may be connected to both the first engine 106 and the second engine 107.

図2(b)は、画像処理エンジンA121、画像処理エンジンB122の詳細な機能構成を示す図である。ノイズ除去部211は、ホワイトバランス調整がされた画像信号に対してノイズ除去を行なう。なお、画像処理エンジンA121のノイズ除去部211は、静止画に適応したノイズ除去を提供する。より具体的には、たとえば、図3に示すように、ノイズ除去部211は、WB回路102より入力された画像からDS(ダウンサンプリング)部306〜309によって複数解像度の縮小画像を生成する。そして、各縮小画像について、フィルタ301〜305が縮小量に応じた折り返しにより生じる偽色を除去するためのフィルタリング処理を、NR311〜315がノイズ除去を実行する。ノイズ除去部211では、このような階層的なノイズ除去処理が実行される。なお、図3に示すようなノイズ除去部211は、複数解像度の縮小画像を生成してノイズ除去を行なうため、高精度に除去され、高画質になるが、メモリへの画像の保持や読出しが多発し、処理負荷が大きい。これに対して、画像処理エンジンB122のノイズ除去部211は、たとえば、1階層のみのノイズ除去(図3ののNR311における平均値処理)を行なうものであり、画像処理エンジンA121よりも処理負荷が軽減されている。   FIG. 2B is a diagram illustrating a detailed functional configuration of the image processing engine A121 and the image processing engine B122. The noise removing unit 211 removes noise from the image signal that has been subjected to white balance adjustment. Note that the noise removal unit 211 of the image processing engine A121 provides noise removal adapted to still images. More specifically, for example, as shown in FIG. 3, the noise removing unit 211 generates reduced images with a plurality of resolutions from DS (downsampling) units 306 to 309 from the image input from the WB circuit 102. Then, for each reduced image, the filters 301 to 305 execute noise removal, and the NRs 311 to 315 execute noise removal for filtering processing for removing false colors generated by folding according to the reduction amount. In the noise removal unit 211, such hierarchical noise removal processing is executed. Note that the noise removing unit 211 shown in FIG. 3 generates a reduced image having a plurality of resolutions and performs noise removal. Therefore, the noise removing unit 211 removes the noise with high accuracy and achieves high image quality. Frequent and heavy processing load. On the other hand, the noise removal unit 211 of the image processing engine B122 performs, for example, noise removal of only one layer (average value processing in the NR 311 in FIG. 3), and the processing load is higher than that of the image processing engine A121. It has been reduced.

ノイズ除去部211から出力された画像信号は、色処理部と輝度処理部に分配される。色処理部では、まず、第1マトリクス212が、ノイズ除去部211から出力された画像信号(RGB)を、YUV信号に変換する。この際、第1マトリクス212は、撮像素子(CMOS202)の固有の分光特性に起因したばらつきを吸収するとともに、所望する絵作りに応じた画像となるようにマトリクス変換を行なう。色抑圧部213は、飽和時のホワイトバランスを維持するために高輝度部分の色値のゲインを調整(抑圧)する。   The image signal output from the noise removing unit 211 is distributed to the color processing unit and the luminance processing unit. In the color processing unit, first, the first matrix 212 converts the image signal (RGB) output from the noise removal unit 211 into a YUV signal. At this time, the first matrix 212 absorbs variations due to the inherent spectral characteristics of the image sensor (CMOS 202) and performs matrix conversion so that an image corresponding to a desired picture creation is obtained. The color suppression unit 213 adjusts (suppresses) the gain of the color value of the high luminance portion in order to maintain the white balance at the time of saturation.

第2マトリクス214は、色抑圧部213により処理されたUV信号を含むYUV信号を、γ処理のためにRGB信号に変換する。Cγ処理部215は、第2マトリクス214により得られた画像信号(RGB信号)に対してγ処理を施す。そして、第3マトリクス216は、Cγ処理部215の出力(RGB信号)を再びYUV信号に変換する。ニー補正部217は、第3マトリクス216から出力されたYUV信号のうちのUV信号を入力し、高彩度における色空間の圧縮を行なって、画像信号を目標とする色空間に収める。   The second matrix 214 converts the YUV signal including the UV signal processed by the color suppression unit 213 into an RGB signal for γ processing. The Cγ processing unit 215 performs γ processing on the image signal (RGB signal) obtained by the second matrix 214. Then, the third matrix 216 converts the output (RGB signal) of the Cγ processing unit 215 into a YUV signal again. The knee correction unit 217 receives the UV signal of the YUV signals output from the third matrix 216, compresses the color space at high saturation, and stores the image signal in the target color space.

他方、ノイズ除去部211から出力された画像信号(RGB)のうちのG成分は輝度処理部に入力される。輝度処理部では、まず、適応処理部221が帯域を維持するためにG信号に適応化処理を施してY信号を生成する。Yγ処理部222は、適応処理部221により生成されたY信号にγ処理を施す。また、適応処理部221の出力はシャープネス部223にも供給され、シャープネス部223は、入力されたY信号からシャープネス量を検出し、これをYγ処理部222の出力に足し込む。   On the other hand, the G component of the image signal (RGB) output from the noise removal unit 211 is input to the luminance processing unit. In the luminance processing unit, first, the adaptive processing unit 221 generates an Y signal by performing an adaptation process on the G signal in order to maintain the band. The Yγ processing unit 222 performs γ processing on the Y signal generated by the adaptive processing unit 221. The output of the adaptive processing unit 221 is also supplied to the sharpness unit 223. The sharpness unit 223 detects the amount of sharpness from the input Y signal, and adds this to the output of the Yγ processing unit 222.

ニー補正部217の出力信号(U,V)と輝度処理部から得られる信号(Y)は、第1ルックアップテーブル(以下、第1LUT218)に供給され、画像処理エンジンからの最終的なYUV信号が生成され、出力される。   The output signal (U, V) of the knee correction unit 217 and the signal (Y) obtained from the luminance processing unit are supplied to the first look-up table (hereinafter referred to as the first LUT 218), and the final YUV signal from the image processing engine. Is generated and output.

図1に戻り、第1エンジン106と第2エンジン107のそれぞれの画像処理エンジンA121と画像処理エンジンB122から出力されたYUV信号は、それぞれセレクタ108に供給される。セレクタ108は、コントローラ130の制御の下、各画像処理エンジンから供給されたYUV信号の経路を制御し、YUV信号を記録部109あるいは表示部110に供給する。なお、セレクタ108の動作の詳細については後述する。   Returning to FIG. 1, the YUV signals output from the image processing engine A 121 and the image processing engine B 122 of the first engine 106 and the second engine 107 are respectively supplied to the selector 108. The selector 108 controls the path of the YUV signal supplied from each image processing engine under the control of the controller 130, and supplies the YUV signal to the recording unit 109 or the display unit 110. Details of the operation of the selector 108 will be described later.

記録部109と表示部110の詳細構成について、図2(c)を参照して説明する。記録部109において、巡回NR部231は、入力されたYUV信号のフレーム間の相関性を利用してノイズ除去を行なう。なお、巡回NR部231は、動画記録時にのみ動作するようにコントローラ130により制御される。すなわち、静止画記録時には、巡回NR部231はスルー動作となる。   Detailed configurations of the recording unit 109 and the display unit 110 will be described with reference to FIG. In the recording unit 109, the cyclic NR unit 231 performs noise removal using the correlation between frames of the input YUV signal. The cyclic NR unit 231 is controlled by the controller 130 so as to operate only at the time of moving image recording. That is, when recording a still image, the cyclic NR unit 231 performs a through operation.

リサイズ部232は、記録される画像データの形式に応じてリサイズを行なう。例えば、デジタルシネマ撮影等で画像処理エンジンが4k2kの画素数で画像を生成する場合、これをフルハイビジョンの画素数(1920×1080画素)で記録する場合には、リサイズ部232が巡回NR部231からの出力に対してリサイズを実行する。リサイズが不要であれば、コントローラ130の制御下、リサイズ部232は画像信号をスルーする。マトリクス部233は、リサイズ部232から出力された画像信号について最終的な画像調整を行なう。圧縮部234はマトリクス部233から出力された画像信号(画像データ)に圧縮処理を施して、記録ファイル235を出力する。記録ファイル235は、メモリカード(不図示)等の記録媒体に記録される。   The resizing unit 232 performs resizing according to the format of image data to be recorded. For example, when an image processing engine generates an image with 4k2k pixels in digital cinema shooting or the like, and when this is recorded with the number of full high-definition pixels (1920 × 1080 pixels), the resizing unit 232 has a cyclic NR unit 231. Perform resizing on the output from. If resizing is unnecessary, the resizing unit 232 passes the image signal under the control of the controller 130. The matrix unit 233 performs final image adjustment on the image signal output from the resizing unit 232. The compression unit 234 performs compression processing on the image signal (image data) output from the matrix unit 233 and outputs a recording file 235. The recording file 235 is recorded on a recording medium such as a memory card (not shown).

表示部110では、HDMI出力243およびLCD出力246を生成する。セレクタ108より提供された画像信号はそれぞれリサイズ部241,244に供給される。リサイズ部241は、供給された画像信号をHDMIの解像度(例えば1920×1080画素)にリサイズする。マトリクス部242は、リサイズ部241でリサイズされた画像信号に対して最終的な画像調整を行ない、HDMI出力243を得る。同様に、リサイズ部244は、供給された画像信号をLCD(本例では、デジタルカメラ100の背面に設けられた液用表示器とする)の解像度(例えば、720×380画素)にリサイズする。マトリクス部245は、リサイズ部244でリサイズされた画像信号に対して最終的な画像調整を行ない、LCD出力246を得る。   The display unit 110 generates an HDMI output 243 and an LCD output 246. The image signals provided from the selector 108 are supplied to the resizing units 241 and 244, respectively. The resizing unit 241 resizes the supplied image signal to an HDMI resolution (eg, 1920 × 1080 pixels). The matrix unit 242 performs final image adjustment on the image signal resized by the resize unit 241, and obtains an HDMI output 243. Similarly, the resizing unit 244 resizes the supplied image signal to a resolution (for example, 720 × 380 pixels) of an LCD (in this example, a liquid display provided on the back of the digital camera 100). The matrix unit 245 performs final image adjustment on the image signal resized by the resize unit 244 to obtain an LCD output 246.

次に、図4を参照して、セレクタ103,108の動作について説明する。なお、以下では、撮影モードとして4k2kによる動画撮影が選択された場合を説明する。また、その際に、デジタルシネマ対応のためのログ変換の実行が指定された場合は、画像信号にネガフィルムの露光量特性に対応したログ変換処理が施される。なお、4k2kによる動画撮影では、4k2kの解像度(画素数)を有するフレームが24fpsのフレーム速度で生成(現像)され、メモリに記録される。また、本実施形態では、4k2kによる動画撮影において、更に第1の記録モードとしての「応答速度優先モード」と第2の記録モードとしての「記録画質優先モード」のいずれかを、ユーザの指示により選択できるものとする。   Next, operations of the selectors 103 and 108 will be described with reference to FIG. In the following, a case where moving image shooting using 4k2k is selected as the shooting mode will be described. At this time, if execution of log conversion for digital cinema is specified, log conversion processing corresponding to the exposure characteristic of the negative film is performed on the image signal. In moving image shooting using 4k2k, a frame having a resolution (number of pixels) of 4k2k is generated (developed) at a frame rate of 24 fps and recorded in a memory. In the present embodiment, in moving image shooting with 4k2k, either “response speed priority mode” as the first recording mode or “recording image quality priority mode” as the second recording mode is further specified by the user's instruction. It shall be selectable.

図4(a)は、「4k2kによる動画撮影」、且つ、「応答速度優先モード」が指示された場合のセレクタ103,108における画像信号の経路設定動作および現像処理に用いる画像処理エンジンの選択を説明する図である。なお、セレクタ103,108の動作等は、コントローラ130が制御する。図4の(a)に示すように、撮像部101から出力され、WB回路102を経た画像信号は、セレクタ103へ供給される。4k2kによる動画撮影で応答速度優先モードが指定されている場合、セレクタ103は、第1エンジン106および第2エンジン107のそれぞれの画像処理エンジンB122へ画像信号を供給し、縮小部104へ画像信号を供給するように経路を選択する。なお、この際、縮小部105はスルー動作を行なうことになる。ここで、本実施形態では、4k2kの解像度のフレームを24fpsで生成するために、2つの画像処理エンジンB122を並行動作させて順次にフレームを生成する。そのために、セレクタ103は、撮像部101から連続して入力されるフレームの経路を1フレームごとに交互に切り替える。例えば、セレクタ103は、奇数番目のフレームを第1エンジン106の画像処理エンジンB122に、偶数番目のフレームを第2エンジン107の画像処理エンジンB122に供給する。2つの画像処理エンジンB122は、それぞれ12fpsで動画フレームを生成し、セレクタ108はこれら動画フレームを順次に記録部109に供給することで、24fpsの動画像が記録される。なお、フレームの経路の切り換えは、エンジンの並行動作が達成されていれば良いので、1フレームごとに交互に切り替える手法に限定されない。例えば、別途フレームバッファの存在が前提となるが2以上のフレームでの切り換えでも良いし、セレクタ103が空きのあるエンジンを検知して順次フレームを入力させる手法でも良い。   FIG. 4A shows image signal path setting operations in the selectors 103 and 108 and selection of an image processing engine used for development processing when “4k2k video shooting” and “response speed priority mode” are instructed. It is a figure explaining. The operation of the selectors 103 and 108 is controlled by the controller 130. As shown in FIG. 4A, the image signal output from the imaging unit 101 and passed through the WB circuit 102 is supplied to the selector 103. When the response speed priority mode is specified in moving image shooting by 4k2k, the selector 103 supplies the image signal to the image processing engine B122 of each of the first engine 106 and the second engine 107, and outputs the image signal to the reduction unit 104. Select a route to feed. At this time, the reduction unit 105 performs a through operation. Here, in the present embodiment, in order to generate a frame of 4k2k resolution at 24 fps, the two image processing engines B122 are operated in parallel to sequentially generate frames. For this purpose, the selector 103 alternately switches the path of frames continuously input from the imaging unit 101 for each frame. For example, the selector 103 supplies odd-numbered frames to the image processing engine B122 of the first engine 106 and supplies even-numbered frames to the image processing engine B122 of the second engine 107. The two image processing engines B122 each generate moving image frames at 12 fps, and the selector 108 sequentially supplies these moving image frames to the recording unit 109, thereby recording a moving image of 24 fps. Note that the switching of the frame path is not limited to the method of alternately switching every frame, as long as the parallel operation of the engine is achieved. For example, the presence of a separate frame buffer is premised, but switching between two or more frames may be used, or a method in which the selector 103 detects an empty engine and sequentially inputs frames.

他方、4k2kの画像記録と同時に表示のための画像信号を出力するために、セレクタ103はWB回路102から供給された画像信号を縮小部104へ送る。ここで、コントローラ130は、縮小部104の縮小率を所望の値に設定し縮小部104を動作させる。この結果、縮小部104からは、所望の画像サイズ(例えば1920×1080画素)の縮小画像信号(縮小されたフレーム)が出力され、第1エンジン106の画像処理エンジンA121に供給される。なお、記録画像と表示画像のアスペクトが違う場合は必要に応じてトリミング処理が行われる。画像処理エンジンA121は、静止画撮影に最適化された画像処理エンジンであり、高負荷な処理を行なうが、縮小された画像を処理するので処理負荷が軽減され、表示遅延の発生を回避できる。こうして、第1エンジン106の画像処理エンジンA121から24fpsの画像信号が出力される。セレクタ108は第1エンジン106の画像処理エンジンA121からの画像信号を表示部110に供給する。   On the other hand, the selector 103 sends the image signal supplied from the WB circuit 102 to the reduction unit 104 in order to output an image signal for display simultaneously with the 4k2k image recording. Here, the controller 130 sets the reduction ratio of the reduction unit 104 to a desired value and operates the reduction unit 104. As a result, the reduction unit 104 outputs a reduced image signal (reduced frame) having a desired image size (eg, 1920 × 1080 pixels) and supplies the reduced image signal to the image processing engine A 121 of the first engine 106. If the recorded image and the display image have different aspect ratios, trimming processing is performed as necessary. The image processing engine A121 is an image processing engine optimized for still image shooting, and performs high-load processing. However, since the reduced image is processed, the processing load is reduced and the occurrence of display delay can be avoided. In this way, an image signal of 24 fps is output from the image processing engine A 121 of the first engine 106. The selector 108 supplies the image signal from the image processing engine A 121 of the first engine 106 to the display unit 110.

第2エンジン107の画像処理エンジンA121から出力されるフレームの大きさは1920×1080画素となっているため、表示部110のリサイズ部241はスルー動作となる。第2エンジン107の画像処理エンジンA121からの画像信号は、マトリクス部242により調整された後、HDMI出力243となる。また、リサイズ部244は、第2エンジン107の画像処理エンジンA121からの画像信号をたとえば解像度が720×380画素の画像へ変換する。マトリクス部245は、この720×380画素の画像に調整を加えて、LCD出力246を得る。LCD出力246は例えばデジタルカメラの背面の液晶パネルに表示される。   Since the size of the frame output from the image processing engine A121 of the second engine 107 is 1920 × 1080 pixels, the resize unit 241 of the display unit 110 performs a through operation. The image signal from the image processing engine A 121 of the second engine 107 is adjusted by the matrix unit 242 and then becomes the HDMI output 243. Further, the resizing unit 244 converts the image signal from the image processing engine A121 of the second engine 107 into an image having a resolution of, for example, 720 × 380 pixels. The matrix unit 245 adjusts the 720 × 380 pixel image to obtain an LCD output 246. The LCD output 246 is displayed on, for example, a liquid crystal panel on the back of the digital camera.

なお、上記動作において、コントローラ130は、画像処理エンジンB122に対してはその最大性能を発揮するようなパラメータを設定する。また、第2エンジン107の画像処理エンジンA121に対しては、画像処理エンジンB122の出力と同等の画質となるようにパラメータを設定する。例えば、ノイズ除去部211とシャープネス部223に設定されるパラメータにより、画像処理エンジンAが出力する画質を画像処理エンジンBが出力する画像の画質と合わせる。更に具体的には、ノイズ除去部211の階層処理(図3)を1階層のみとする。このようなパラメータ設定により、記録画像とHDMIやLCDで出力される画像の見えを一致させることができる。更に、コントローラ130は、第2エンジン107の画像処理エンジンA121のシャープネス部223に、縮小画像の処理に適したパラメータを設定するようにしてもよい。   In the above-described operation, the controller 130 sets a parameter that exhibits the maximum performance for the image processing engine B122. Also, parameters are set for the image processing engine A121 of the second engine 107 so that the image quality is equivalent to the output of the image processing engine B122. For example, the image quality output from the image processing engine A is matched with the image quality output from the image processing engine B by parameters set in the noise removal unit 211 and the sharpness unit 223. More specifically, the hierarchical processing (FIG. 3) of the noise removal unit 211 is only one level. By such parameter setting, the appearance of the recorded image and the image output by HDMI or LCD can be matched. Further, the controller 130 may set parameters suitable for processing of a reduced image in the sharpness unit 223 of the image processing engine A 121 of the second engine 107.

図4(b)は、デジタルカメラ100に静止画記録モードが設定された場合の、セレクタ103,108による画像信号の経路設定、現像処理に用いる画像処理エンジンの選択を説明する図である。静止画記録モードでは、セレクタ103は、WB回路102からの画像信号を第1エンジン106の画像処理エンジンA121及び第2エンジン107の画像処理エンジンA121の一方に供給する。1枚撮影時において、セレクタ103は、第1エンジン106に優先させて画像信号を供給すれば良いが、連続撮影時は、静止画フレーム単位で、空きの有るエンジンに対して順次振り分ければよい。画像処理エンジンA121は、画像信号を処理して静止画記録のための画像を生成する。また、デジタルカメラ100の液晶画面等への画像表示のために、各エンジンは、現像後の静止画像を縮小処理して出力する。セレクタ108が生成された表示用画像を表示部110に出力することにより、液晶画面への静止画表示等が行なわれる。   FIG. 4B is a diagram for explaining image signal path setting by the selectors 103 and 108 and selection of an image processing engine used for development processing when the still image recording mode is set in the digital camera 100. In the still image recording mode, the selector 103 supplies the image signal from the WB circuit 102 to one of the image processing engine A 121 of the first engine 106 and the image processing engine A 121 of the second engine 107. The selector 103 may supply image signals with priority over the first engine 106 when shooting a single image. However, during continuous shooting, the selector 103 may sequentially distribute images to available engines in units of still image frames. . The image processing engine A121 processes the image signal to generate an image for recording a still image. In addition, in order to display an image on the liquid crystal screen or the like of the digital camera 100, each engine reduces the processed still image and outputs it. By outputting the display image generated by the selector 108 to the display unit 110, a still image is displayed on the liquid crystal screen.

図5は、「4k2kによる動画撮影」、且つ、「記録画質優先モード」が指示された場合のセレクタ103,108における画像信号の経路設定動作および現像処理に用いる画像処理エンジンの選択を説明する図である。図5に示すように、撮像部101から出力され、WB回路102を経た画像信号は、セレクタ103へ供給される。4k2kによる動画撮影で記録画質優先モードが指定されている場合、セレクタ103は、第1エンジン106および第2エンジン107の画像処理エンジンA121へ画像信号を供給するとともに、縮小部105へ画像信号を供給するように経路を選択する。ここで、本実施形態では、4k2kの解像度のフレームを24fpsで生成するために、2つの画像処理エンジンA121を並行動作させ順次にフレームを生成する。そのために、セレクタ103は、CMOS202からの画像信号の経路を1フレームごとに切り替える。2つの画像処理エンジンA121は、それぞれ12fpsでフレームを生成し、セレクタ108はこれらフレームを順次に記録部109に供給することで、24fpsの画像信号が記録される。   FIG. 5 is a diagram for explaining image signal path setting operations in the selectors 103 and 108 and selection of an image processing engine used for development processing when “4k2k moving image shooting” and “recording image quality priority mode” are instructed. It is. As shown in FIG. 5, the image signal output from the imaging unit 101 and passed through the WB circuit 102 is supplied to the selector 103. When the recording image quality priority mode is specified in 4k2k moving image shooting, the selector 103 supplies an image signal to the image processing engine A 121 of the first engine 106 and the second engine 107 and also supplies an image signal to the reduction unit 105. Select the route to do. In this embodiment, in order to generate a 4k2k resolution frame at 24 fps, the two image processing engines A121 are operated in parallel to sequentially generate frames. For this purpose, the selector 103 switches the path of the image signal from the CMOS 202 for each frame. The two image processing engines A121 each generate a frame at 12 fps, and the selector 108 sequentially supplies these frames to the recording unit 109, whereby an image signal of 24 fps is recorded.

他方、4k2kの画像記録と同時に表示のための画像信号を出力するために、セレクタ103はWB回路102から供給された画像信号を縮小部105へ送る。図4(a)の場合と同様に、縮小部105からは1920×1080画素の縮小画像信号が出力され、第2エンジン107の画像処理エンジンB122に供給される。この画像処理エンジンB122は、画像処理エンジンA121に比べて低処理負荷の画像処理エンジンであり、縮小された画像を処理するため、処理負荷が更に軽減される。その結果、2つの画像処理エンジンA121のそれぞれで12fpsでフレームを処理しても、現像処理全体としての処理量は、図4(a)の構成で処理をした場合に比べて、それほど増加しない。セレクタ108は、画像処理エンジンB122で生成された画像信号を表示部110に供給する。表示部110における処理は図4(a)について上述したとおりである。   On the other hand, the selector 103 sends the image signal supplied from the WB circuit 102 to the reduction unit 105 in order to output an image signal for display simultaneously with the 4k2k image recording. As in the case of FIG. 4A, a reduction image signal of 1920 × 1080 pixels is output from the reduction unit 105 and supplied to the image processing engine B 122 of the second engine 107. The image processing engine B122 is an image processing engine having a lower processing load than the image processing engine A121, and processes a reduced image, so that the processing load is further reduced. As a result, even if each of the two image processing engines A121 processes a frame at 12 fps, the processing amount as a whole of the development processing does not increase so much as compared with the case where processing is performed with the configuration of FIG. The selector 108 supplies the image signal generated by the image processing engine B122 to the display unit 110. The processing in the display unit 110 is as described above with reference to FIG.

「記録画質優先モード」では、画像処理エンジンAを用いて生成された画像が記録されるので、非常に高画質な動画を記録できる。但し、高画質処理の動画を処理する為、システムによっては処理がかかり遅延が発生してしまう可能性がある。さらに、表示部110から出力される画像の画質は、縮小画像を画像処理エンジンBで処理しているために低下してしまい、記録画像の画質と表示された画像との差が大きくなる恐れがある。   In the “recording image quality priority mode”, since an image generated using the image processing engine A is recorded, a very high-quality moving image can be recorded. However, since a moving image with high image quality is processed, processing may be delayed depending on the system. Furthermore, the image quality of the image output from the display unit 110 is degraded because the reduced image is processed by the image processing engine B, and the difference between the image quality of the recorded image and the displayed image may increase. is there.

また、表示画質劣化が懸念される場合は次のように動作するようにしてもよい。すなわち、縮小部105での縮小をとりやめ、第1エンジン106の画像処理エンジンB122で12fpsの現像処理を行い、第2エンジン107の画像処理エンジンB122で12fpsの現像処理を行い交互に現像して24fpsの表示画像を作成しても良い。但し、その場合は表示遅延はさらに大きくなる懸念がある。   When there is a concern about display image quality deterioration, the following operation may be performed. That is, the reduction in the reduction unit 105 is canceled, the image processing engine B122 of the first engine 106 performs 12 fps development processing, the image processing engine B122 of the second engine 107 performs 12 fps development processing, and alternately develops to 24 fps. The display image may be created. However, in that case, there is a concern that the display delay is further increased.

また、「応答速度優先モード」のみを実行するのであれば、第1エンジン106の画像処理エンジンAは省略可能である。その場合、静止画撮影時には、第1エンジン106の画像処理エンジンAが用いられ、縮小部104はスルー動作に設定される。同様に、「記録画質優先モード」のみを実行する構成とする場合は、第1エンジン106にいて画像処理エンジンBは省略可能である。 また、上記実施形態では、4k2k動画について説明をしたが、QFDH(Quad Full High Definition)サイズの3840画素×2160画素という画素数のデジタルシネマ場合でも同様である。   Further, if only the “response speed priority mode” is executed, the image processing engine A of the first engine 106 can be omitted. In that case, at the time of still image shooting, the image processing engine A of the first engine 106 is used, and the reduction unit 104 is set to the through operation. Similarly, when only the “recording image quality priority mode” is executed, the image processing engine B in the first engine 106 can be omitted. In the above embodiment, a 4k2k moving image has been described, but the same applies to a digital cinema having a QFDDH (Quad Full High Definition) size of 3840 pixels × 2160 pixels.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (4)

第1の画像処理エンジンと、前記第1の画像処理エンジンよりも画像処理の処理負荷が低減された第2の画像処理エンジンを有する画像処理エンジンを複数備え、  A plurality of image processing engines having a first image processing engine and a second image processing engine in which a processing load of image processing is reduced as compared with the first image processing engine;
撮像によって得られた画像信号の現像を行い、記録媒体に記録される記録用画像と表示手段に表示される表示用画像を出力する画像処理装置であって、  An image processing apparatus that develops an image signal obtained by imaging and outputs a recording image recorded on a recording medium and a display image displayed on a display unit,
第1の記録モードと第2の記録モードを設定可能な設定手段と、  Setting means capable of setting the first recording mode and the second recording mode;
前記設定手段により前記第1の記録モードが設定された場合は、  When the first recording mode is set by the setting means,
前記複数の画像処理エンジンの夫々が有する第2の画像処理エンジンを並行動作させて前記記録用画像を出力するとともに、前記第1の画像処理エンジンを動作させて前記表示用画像を出力し、  The second image processing engine included in each of the plurality of image processing engines is operated in parallel to output the recording image, the first image processing engine is operated to output the display image,
前記設定手段により前記第2の記録モードが設定された場合は、  When the second recording mode is set by the setting means,
前記複数の画像処理エンジンの夫々が有する第1の画像処理エンジンを並行動作させて前記記録用画像を出力するとともに、前記第2の画像処理エンジンを動作させて前記表示用画像を出力するように制御する制御手段とを備えることを特徴とする画像処理装置。  The first image processing engine included in each of the plurality of image processing engines is operated in parallel to output the recording image, and the second image processing engine is operated to output the display image. An image processing apparatus comprising: control means for controlling.
前記設定手段により前記第1の記録モードが設定された場合は、前記第1の画像処理エンジンに前記画像信号を縮小して供給し、前記設定手段により前記第2の記録モードが設定された場合は、前記第2の画像処理エンジンに前記画像信号を縮小して供給する縮小手段を備えることを特徴とする請求項1に記載の画像処理装置。  When the first recording mode is set by the setting means, the image signal is reduced and supplied to the first image processing engine, and the second recording mode is set by the setting means The image processing apparatus according to claim 1, further comprising a reduction unit that reduces and supplies the image signal to the second image processing engine. 前記第1の記録モードは現像処理の応答性を優先したモードであり、  The first recording mode is a mode in which priority is given to responsiveness of development processing,
前記第2の記録モードは現像処理により得られる前記記録用画像の画質を優先したモードであることを特徴とする請求項1または2に記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the second recording mode is a mode in which priority is given to an image quality of the recording image obtained by development processing.
第1の画像処理エンジンと、前記第1の画像処理エンジンよりも画像処理の処理負荷が低減された第2の画像処理エンジンを有する画像処理エンジンを複数備え、  A plurality of image processing engines having a first image processing engine and a second image processing engine in which a processing load of image processing is reduced as compared with the first image processing engine;
撮像によって得られた画像信号の現像を行い、記録媒体に記録される記録用画像と表示手段に表示される表示用画像を出力する画像処理装置の制御方法であって、  A control method for an image processing apparatus that develops an image signal obtained by imaging and outputs a recording image recorded on a recording medium and a display image displayed on a display means,
第1の記録モードと第2の記録モードを設定可能な設定手段により前記第1の記録モードが設定された場合に、前記複数の画像処理エンジンの夫々が有する第2の画像処理エンジンを並行動作させて前記記録用画像を出力するとともに、前記第1の画像処理エンジンを動作させて前記表示用画像を出力し、  When the first recording mode is set by setting means capable of setting the first recording mode and the second recording mode, the second image processing engines included in each of the plurality of image processing engines are operated in parallel. And outputting the recording image, operating the first image processing engine to output the display image,
前記設定手段により前記第2の記録モードが設定された場合に、前記複数の画像処理エンジンの夫々が有する第1の画像処理エンジンを並行動作させて前記記録用画像を出力するとともに、前記第2の画像処理エンジンを動作させて前記表示用画像を出力することを特徴とする画像処理装置の制御方法。  When the second recording mode is set by the setting unit, the first image processing engine included in each of the plurality of image processing engines is operated in parallel to output the recording image, and the second recording mode is output. A control method for an image processing apparatus, wherein the image processing engine is operated to output the display image.
JP2012090456A 2012-04-11 2012-04-11 Image processing apparatus and control method thereof Expired - Fee Related JP5956813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012090456A JP5956813B2 (en) 2012-04-11 2012-04-11 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012090456A JP5956813B2 (en) 2012-04-11 2012-04-11 Image processing apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2013219686A JP2013219686A (en) 2013-10-24
JP5956813B2 true JP5956813B2 (en) 2016-07-27

Family

ID=49591300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012090456A Expired - Fee Related JP5956813B2 (en) 2012-04-11 2012-04-11 Image processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5956813B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6316640B2 (en) * 2014-04-18 2018-04-25 日本放送協会 VIDEO RECORDING DEVICE, VIDEO REPRODUCTION DEVICE, AND VIDEO RECORDING PROGRAM
JP6065934B2 (en) 2015-04-08 2017-01-25 ソニー株式会社 Video signal processing apparatus and imaging system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223146A (en) * 2010-04-06 2011-11-04 Nikon Corp Electronic camera
JP5088395B2 (en) * 2010-04-15 2012-12-05 株式会社ニコン Electronic camera

Also Published As

Publication number Publication date
JP2013219686A (en) 2013-10-24

Similar Documents

Publication Publication Date Title
JP4655991B2 (en) Imaging apparatus, electronic zoom method, and program
JP5983616B2 (en) Imaging apparatus, imaging method, and program
US8368775B2 (en) Imaging apparatus and live-view image display method thereof
TWI423165B (en) Image processing apparatus, image processing method, and storage medium
JP2005142680A (en) Image processing apparatus
JP5300756B2 (en) Imaging apparatus and image processing method
JP2008193342A (en) Imaging apparatus and program thereof
JP6304293B2 (en) Image processing apparatus, image processing method, and program
JP4991907B2 (en) Image processing apparatus and method for controlling image processing apparatus
JP6087612B2 (en) Image processing apparatus and image processing method
JP2010206776A (en) Image capture apparatus, method of controlling the same and program
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP5956813B2 (en) Image processing apparatus and control method thereof
US8077226B2 (en) Data processing apparatus having parallel processing zoom processors
JP2018042200A (en) Imaging apparatus and imaging method
JP6557451B2 (en) Imaging apparatus, control method therefor, and program
JP5914124B2 (en) Imaging apparatus and control method thereof
US20110050962A1 (en) Electronic zooming device
JP6087720B2 (en) Imaging apparatus and control method thereof
JP5841359B2 (en) Image processing apparatus, control method therefor, and program
JP7463114B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD FOR IMAGE PROCESSING APPARATUS, PROGRAM, AND STORAGE MEDIUM
JP2007251997A (en) Imaging unit
JP2007228104A (en) Image processing apparatus and imaging apparatus
JP6218494B2 (en) Image processing apparatus, image processing method, and computer program
JP6247513B2 (en) Imaging apparatus, control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160617

R151 Written notification of patent or utility model registration

Ref document number: 5956813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees