JP2006197337A - Audio video signal recording apparatus, audio video signal reproducing apparatus, audio video signal recording method, audio video signal reproducing method, and recording medium - Google Patents
Audio video signal recording apparatus, audio video signal reproducing apparatus, audio video signal recording method, audio video signal reproducing method, and recording medium Download PDFInfo
- Publication number
- JP2006197337A JP2006197337A JP2005007646A JP2005007646A JP2006197337A JP 2006197337 A JP2006197337 A JP 2006197337A JP 2005007646 A JP2005007646 A JP 2005007646A JP 2005007646 A JP2005007646 A JP 2005007646A JP 2006197337 A JP2006197337 A JP 2006197337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- recording
- data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、オーディオビデオ信号記録装置、オーディオビデオ信号再生装置、オーディオビデオ信号記録方法、オーディオビデオ信号再生方法、及び記録媒体に関するもので、特に動画静止画データ同時記録再生において、2つの撮像素子からの画像データを画素をずらして使用するモード、2つの撮像素子からの画像データを画素をずらさずに使用し、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成するモード、2つの撮像素子からの画像データを独立して動画と静止画同時撮影するモードの3モードを選択的に使用することを好適に実現する装置に関するものである。 The present invention relates to an audio / video signal recording apparatus, an audio / video signal reproducing apparatus, an audio / video signal recording method, an audio / video signal reproducing method, and a recording medium. Mode in which the pixel data is used while shifting the pixels, the image data from the two image sensors is used without shifting the pixels, and a dimming ND filter is disposed on one of the pixels to combine them with different luminance ranges. Three modes are selectively used: a mode for forming a still image or a moving image having a wider dynamic range than an image of one signal, and a mode for independently capturing a moving image and a still image independently of image data from two image sensors. The present invention relates to an apparatus that suitably realizes this.
従来のカムコーダでは動画と静止画とを一つのCCDを用いて同時記録していた。しかし静止画像の画素数を上げるために画素数の多いCCDを使用すると動画のS/N比が低下するので、解像度の高い静止画とS/N比の優れた動画とを同時記録することが困難であった。 Conventional camcorders record moving images and still images simultaneously using a single CCD. However, if a CCD with a large number of pixels is used to increase the number of pixels of a still image, the S / N ratio of the moving image is lowered. Therefore, it is possible to simultaneously record a high-resolution still image and a moving image having an excellent S / N ratio. It was difficult.
そこで、特開平5−292445においては、広角レンズによる撮像信号と、ズームレンズによる撮像信号とを、同一の記録媒体に同時記録して、2種類の映像を2つの光学系にて記録する技術が開示されている。 In view of this, Japanese Patent Laid-Open No. 5-292445 discloses a technique for simultaneously recording an image pickup signal from a wide-angle lens and an image pickup signal from a zoom lens on the same recording medium and recording two types of images with two optical systems. It is disclosed.
また、特開2004−72148においては、入射光をプリズム分岐させて動画撮影用CCDと静止画撮影用CCDに受光させ、1つの光学系で、2つのCCDを用いて、動画像はMPEG圧縮されて記録し、静止画はJPEG圧縮してメモリカードに同時に記録される技術が開示されている。 In Japanese Patent Laid-Open No. 2004-72148, incident light is split into prisms and received by a moving image shooting CCD and a still image shooting CCD, and a moving image is MPEG-compressed using two CCDs in one optical system. A technique is disclosed in which a still image is JPEG compressed and simultaneously recorded on a memory card.
また、同じように特開2000−23094では、動画像を記録し、所望の場面を静止画像としても記録可能の画像情報の記録又は再生装置を提供する目的で、入力手段により入力された記録データを、エンコーダで動画像用データとして圧縮し、操作ボタンから信号の入力時には、その信号が入力された時点における場面を静止画像用データとしても圧縮してメモリへ出力し、同期信号生成回路からの同期信号に同期して動画像用データと静止画像用データとを記録するためのタイミング信号を生成し、動画像用データと静止画像用データとを光磁気記録媒体に同時記録する技術が開示されている。 Similarly, in Japanese Patent Laid-Open No. 2000-23094, recorded data input by an input means for the purpose of providing an image information recording or reproducing device capable of recording a moving image and recording a desired scene as a still image. Is compressed as moving image data by an encoder, and when a signal is input from the operation button, the scene at the time when the signal is input is also compressed as still image data and output to the memory. A technique for generating a timing signal for recording moving image data and still image data in synchronization with a synchronization signal and simultaneously recording moving image data and still image data on a magneto-optical recording medium is disclosed. ing.
また、特開平11−76159には、対物光学系の光路を二つに分離するハーフミラーの二つの分離光路を用いて、異なる画素位置のデータからなる画像信号を形成するように配置された2つのCCDから、設定された画素以外の欠落画素を周囲の画素信号から演算し、高解像度の画像を生成する技術が開示されている。 Japanese Patent Application Laid-Open No. 11-76159 discloses a method in which two separation optical paths of a half mirror that separates an optical path of an objective optical system into two are used to form image signals composed of data at different pixel positions. A technique is disclosed in which a missing pixel other than a set pixel is calculated from surrounding pixel signals from one CCD to generate a high-resolution image.
また、ここで使用されているMPEGについて説明する。
MPEGは1988年、ISO/IEC JTC1/SC2(国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29)に設立された動画像符号化標準を検討する組織の名称(Moving Pictures Expert Group)の略称である。MPEG1(MPEGフェーズ1)は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITT SGXV、現在のITU-T SG15で標準化)の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。
Also, MPEG used here will be described.
MPEG is the name of the organization that examines video coding standards established in 1988 in ISO / IEC JTC1 / SC2 (International Organization for Standardization / International Electrotechnical Standards Meeting Technical Committee 1 / Technical Committee 2, now SC29) ( Abbreviation for Moving Pictures Expert Group. MPEG1 (MPEG Phase 1) is a standard for storage media of about 1.5 Mbps, and is intended for video compression for low transfer rates of JPEG and ISDN video conferences and videophones for the purpose of still image coding. H.261 (CCITT SGXV, standardized by the current ITU-T SG15), the new technology was introduced for storage media. These were established in August 1993 as ISO / IEC 11172.
MPEG2(MPEGフェーズ2)は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、1994年11月ISO/IEC 13818、H.262として成立している。 MPEG2 (MPEG Phase 2) was established as ISO / IEC 13818, H.262 in November 1994 for the purpose of general-purpose standards so as to be compatible with various applications such as communication and broadcasting.
MPEGは幾つかの技術を組み合わせて作成されている。入力画像は動き補償器で復号化した画像と、入力画像の差分を取ることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの3モード存在する。またこれらは16画素×16画素のMB(マクロブロック)ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測と、予測をしないでそのMBを独立で符号化する2モード存在するのがPピクチャーである。また未来からの予測、過去からの予測、両方からの予測、独立で符号化する4モード存在するのがBピクチャーである。そして全てのMBが独立で符号化するのがIピクチャーである。動き補償は、動き領域をMBごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードとともにMBの付加情報として伝送される。Iピクチャから次のIピクチャの前のピクチャまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約15ピクチャ程度が使用される。 MPEG is created by combining several technologies. The input image is time-redundant by taking the difference between the image decoded by the motion compensator and the input image. There are three modes of prediction from the past and the future. These can be used by switching every 16 pixels × 16 pixels MB (macroblock). The prediction direction is determined by the picture type given to the input image. There are two modes in which prediction from the past and two modes that independently encode the MB without prediction are P pictures. In addition, the B picture has four modes in which prediction from the future, prediction from the past, prediction from both, and independent encoding are performed. It is the I picture that all MBs are encoded independently. In motion compensation, the motion region is subjected to pattern matching for each MB, a motion vector is detected with half-pel accuracy, and prediction is performed after shifting by the motion amount. The motion vector has a horizontal direction and a vertical direction, and is transmitted as additional information of the MB together with an MC (Motion Compensation) mode indicating where the motion vector is predicted. A group from an I picture to a picture before the next I picture is called a GOP (Group Of Picture), and when used in a storage medium or the like, about 15 pictures are generally used.
差分画像はDCT器において直交変換が行われる。DCT(Discrete Cosine Transform)とは 余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを4分割し8×8のDCTブロックに対して、2次元DCTを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。 The difference image is subjected to orthogonal transformation in the DCT unit. DCT (Discrete Cosine Transform) is an orthogonal transformation that discretely transforms an integral transformation with a cosine function as an integral kernel into a finite space. In MPEG, MB is divided into four and two-dimensional DCT is performed on an 8 × 8 DCT block. In general, video signals have many low-frequency components and few high-frequency components. Therefore, when DCT is performed, coefficients are concentrated in the low frequency range.
DCTされた画像データ(DCT係数)は量子化器で量子化が行われる。量子化は量子化マトリックスという8×8の2次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で叙算する。デコーダーで逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。 The image data (DCT coefficient) subjected to DCT is quantized by a quantizer. Quantization is a quantized value obtained by multiplying the 8 × 8 two-dimensional frequency called the quantization matrix by the visual characteristics and the value of the quantization scale that multiplies the whole by a scalar, and the DCT coefficient is quantized. Calculate by value. When inverse quantization is performed by the decoder, a value approximating the original DCT coefficient is obtained by multiplying by the quantized value.
量子化されたデータはVLC器で可変長符号化される。量子化された値のうち直流(DC)成分は予測符号化のひとつであるDPCM(differential pulse code modulation )を使用する。また交流(AC)成分は 低域から高域にzigzag scanを行い、ゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。 The quantized data is variable length encoded by a VLC unit. Among the quantized values, the direct current (DC) component uses DPCM (differential pulse code modulation) which is one of predictive coding. Also, AC (AC) components are zigzag scanned from low to high, with zero run length and effective coefficient value as one event, and Huffman coding assigning codes with short code lengths from those with high appearance probability. Is done.
可変長符号化されたデータは一時バッファに蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器にて逆量子化、逆DCT器にて逆DCTされ一時、画像メモリーに蓄えられたのち、動き補償予測器において、差分画像を計算するためのリファレンスの復号化画像として使用される。これら全体の符号化構成例を第10図に示す。 The variable length encoded data is stored in a temporary buffer and output as encoded data at a predetermined transfer rate. The generated code amount for each macroblock of the output data is transmitted to the code amount controller, and the error code amount with respect to the generated code amount with respect to the target code amount is fed back to the quantizer to adjust the quantization scale. By doing so, the code amount is controlled. The quantized image data is inversely quantized by an inverse quantizer, inversely DCTed by an inverse DCT device, temporarily stored in an image memory, and then used as a reference for calculating a difference image in a motion compensated predictor. Used as a decoded image. An example of the overall coding configuration is shown in FIG.
符号化されたストリームはバッファリングされ、バッファからのデータはVLD器に入力される。VLD器では可変長復号化され、直流(DC)成分および交流(AC)成分を得る。交流(AC)成分データは低域から高域にzigzag scanの順で8x8のマトリックスに配置する。このデータは逆量子化器に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆DCT器に入力され、逆DCTされ一時、画像データ(復号化データ)として出力される。また、復号化データは一時、画像メモリーに蓄えられたのち、動き補償予測器において、差分画像を計算するためのリファレンスの復号化画像として使用される。復号化構成例を第11図に示す。 The encoded stream is buffered, and the data from the buffer is input to the VLD unit. The VLD unit performs variable length decoding to obtain a direct current (DC) component and an alternating current (AC) component. The alternating current (AC) component data is arranged in an 8 × 8 matrix in the order of zigzag scan from low to high. This data is input to an inverse quantizer and is inversely quantized by a quantization matrix. The inversely quantized data is input to an inverse DCT unit, inversely DCTed, and temporarily output as image data (decoded data). The decoded data is temporarily stored in an image memory, and then used as a reference decoded image for calculating a difference image in a motion compensation predictor. An example of the decoding configuration is shown in FIG.
また、近年開発された記録容量が従来のCD等の媒体の数倍から十数倍になる、次世代のディスク媒体のフォーマット技術について説明する。一つはDVD-ROMディスク(DVD Specifications for Read-Only Discに準拠した読み出し専用光ディスク)であり、記録再生が可能なディスクとしてはDVD-RWディスク(DVD Specifications for Re-recordable Discに準拠した再記録可能なディスク)及びDVD-RAMディスク(DVD Specifications for Rewritable Discに準拠した再書き込み可能なディスク)がある。DVD-RWまたはDVD-RAMディスク上にビデオデータを収録する規格も策定されており、その大容量を活かして高画質な動画及び静止画を記録し、様々な編集を経て再生する手法が提供される。 Next, a description will be given of a format technology for a next-generation disk medium in which the recording capacity developed in recent years is several to ten times as large as that of a conventional medium such as a CD. One is a DVD-ROM disc (read-only optical disc compliant with DVD Specifications for Read-Only Disc), and a recordable / reproducible disc is a DVD-RW disc (re-recording compliant with DVD Specifications for Re-recordable Disc). Discs) and DVD-RAM discs (rewritable discs compliant with DVD Specifications for Rewritable Disc). A standard for recording video data on DVD-RW or DVD-RAM discs has also been established, and a method for recording high-quality video and still images using their large capacity and playing them through various editing is provided. The
DVD-RWまたはDVD-RAMディスク上(以下、DVD-RW/RAMディスクと略す)にビデオデータを収録する規格、VIDEO RECORDING規格(以下DVD-VRと略す)では、ビデオデータはVOB(Video Object)として記録され、VOB群を記録した順序で全て再生するためのオリジナル管理データ、オリジナルPGC (Original Program Chain)と、ユーザーが選択したVOBの全部又は一部分を任意の順序で再生するためのユーザー定義管理データ、ユーザー定義PGC (User Defined PGC)が定義される。ディスク上に、オリジナルPGCはただ一つ存在し、ユーザー定義PGCは複数存在しうる。 従って、ユーザーは、好みに応じて編集したユーザー定義PGCを使って、好みの再生を行うことが出来る。
"DVD Specifications for Rewritable/Re-recordable Discs、 Part3 VIDEO RECORDING、 Version 1.0"で示されるように、DVD-VRでは、DVD-RW/RAM上のファイルとして複数のファイルを記録する。図10にその構成を示す。 ルートディレクトリ下にDVD_RTAVディレクトリがあり、その下にオリジナルPGC、ユーザー定義PGCなど、全ての記録再生管理データを収録するためのVR_MANGER.IFOファイルを収録する。また、ビデオデータはVR_MOVIE.VROファイル中に、静止画データはVR_STILL.VROファイル中に、静止画に付随する追加オーディオデータはVR_AUDIO.VROファイル中に記録される。 このように、実際の再生データと、記録再生管理データは分離して記録されるので、再生データを変更することなく、ユーザー定義PGCによって任意の再生手順を構築することが出来る。なお、VR_STILL.VRO中の各静止画は、MPEG Video規格に準拠したMPEGイントラ画像として記録される。
Video data is recorded on a DVD-RW or DVD-RAM disc (hereinafter abbreviated as DVD-RW / RAM disc), VIDEO RECORDING standard (hereinafter abbreviated as DVD-VR), video data is VOB (Video Object). User-defined management for playing back all or part of the original VGC selected by the user and the original management data, the original PGC (Original Program Chain), and the VOBs recorded in the desired order. Data, user defined PGC (User Defined PGC) is defined. There can be only one original PGC and multiple user-defined PGCs on the disk. Therefore, the user can perform desired playback using the user-defined PGC edited according to his / her preference.
As shown in "DVD Specifications for Rewritable / Re-recordable Discs, Part 3 VIDEO RECORDING, Version 1.0", DVD-VR records multiple files as files on DVD-RW / RAM. FIG. 10 shows the configuration. There is a DVD_RTAV directory under the root directory, under which a VR_MANGER.IFO file for recording all recording / playback management data such as original PGC and user-defined PGC is recorded. Video data is recorded in the VR_MOVIE.VRO file, still image data is recorded in the VR_STILL.VRO file, and additional audio data accompanying the still image is recorded in the VR_AUDIO.VRO file. Thus, since the actual reproduction data and the recording / reproduction management data are recorded separately, an arbitrary reproduction procedure can be constructed by the user-defined PGC without changing the reproduction data. Each still image in VR_STILL.VRO is recorded as an MPEG intra image conforming to the MPEG Video standard.
図11にオリジナルPGCの構造概念図を示す。DVD-VRディスクにビデオデータを記録する場合、例えば1つのテレビ番組を録画する場合、その一続きのビデオデータは、1つのプログラム(Program)として記録され、プログラムは1つまたは複数のセル(Cell)から構成される。一般的には、録画の途中でポーズした場合や、録画後に番組の途中部分を編集で削除した場合などに、プログラムは複数のセルから構成される。各セルは1つのVOBと関連づけられている。各VOBは、MPEG-2システムに準拠したプログラムストリームとして記録され、連続的に再生される単位である。プログラムおよびセルの構造がオリジナルPGCの記録再生管理データであり、VOB群がビデオデータそのものである。ディスク上に最初に記録されたプログラムがProgram1であり、プログラムを追加記録する毎に、Program2、 3、 ...と記録順に追加されていく。オリジナルPGCの再生は、ディスクに記録された全プログラムをプログラム番号順、つまり記録順に再生することに相当する。また、オリジナルPGC上の特定のプログラムを指定して再生することも可能である。 FIG. 11 shows a conceptual diagram of the structure of the original PGC. When recording video data on a DVD-VR disc, for example, when recording one television program, the continuous video data is recorded as one program (Program), and the program is stored in one or more cells (Cell). ). In general, a program is composed of a plurality of cells when paused in the middle of recording or when an intermediate part of a program is deleted after editing. Each cell is associated with one VOB. Each VOB is a unit that is recorded as a program stream conforming to the MPEG-2 system and continuously reproduced. The program and cell structure is the recording / playback management data of the original PGC, and the VOB group is the video data itself. The first program recorded on the disc is Program1, and each time an additional program is recorded, Program2, 3, ... are added in the recording order. The reproduction of the original PGC is equivalent to reproducing all programs recorded on the disc in the order of program numbers, that is, in the order of recording. It is also possible to designate and reproduce a specific program on the original PGC.
一方、図12にはユーザー定義PGCの構造概念図を示す。オリジナルPGCとして記録されたVOB群の任意の部分をユーザー定義PGC用のセルとして登録し、ユーザー定義PGCを構成する。各セルは任意のVOBの全部または一部分を参照する。例えば、オリジナルPGCとして記録されたVOBのコマーシャルや不要な場面をカットしたり、2つ以上の番組(Program)の一部分を繋いで再生したりする用途等に適している。新しく定義したユーザー定義PGCを再生することは、そのPGC中の全セルを連続して再生することに相当する。 ユーザー定義PGC中にはプログラムの階層は存在しない。つまり、ユーザー定義PGC自体が、オリジナルPGCで言う1つのプログラムに相当する、と解釈できる。 On the other hand, FIG. 12 shows a structural conceptual diagram of the user-defined PGC. An arbitrary part of the VOB group recorded as the original PGC is registered as a user-defined PGC cell, and a user-defined PGC is configured. Each cell refers to all or part of any VOB. For example, it is suitable for applications such as cutting VOB commercials recorded as original PGCs and unnecessary scenes, or connecting a part of two or more programs (Programs). Playing a newly defined user-defined PGC is equivalent to playing all the cells in the PGC continuously. There is no program hierarchy in the user-defined PGC. That is, it can be interpreted that the user-defined PGC itself corresponds to one program in the original PGC.
表5には、オリジナル及びユーザー定義PGC情報(PGCI)の具体的定義内容を示す。PGCIはPGCの一般情報を示すPGC_GI、各プログラムの付属情報を定義する1つ以上のPGI(オリジナルPGCの場合。ユーザー定義PGCでは定義しない。)、PGC中の各セル情報の検索ポインタCI_SRP、及び各セル情報M_CI(動画セルの場合。静止画セルの場合S_CI。)から成る。 Table 5 shows specific definition contents of the original and user-defined PGC information (PGCI). PGCI is PGC_GI indicating general information of PGC, one or more PGIs defining auxiliary information of each program (in the case of original PGC, not defined in user-defined PGC), search pointer CI_SRP of each cell information in PGC, and Each cell information M_CI (in the case of a moving image cell. S_CI in the case of a still image cell) is included.
次に、表5中の各要素の内容を説明する。PGC_GI内には、PGC内のプログラム数を収納するPG_Ns及びCI_SRPの数を収納するCI_SRP_Nsが定義される。ユーザー定義PGCの場合、プログラムを持たないのでPG_Nsはゼロである。 Next, the contents of each element in Table 5 will be described. In PGC_GI, PG_Ns that stores the number of programs in PGC and CI_SRP_Ns that stores the number of CI_SRPs are defined. In the case of user-defined PGC, PG_Ns is zero because there is no program.
PGIは、PG_Nsで示される個数存在する。各PGI内には、プログラム中のセル数を示すC_Ns、プログラムに関するテキスト情報を収録するプライマリテキスト情報(PRM_TXTI)、プログラムに関連するアイテムテキスト情報(PGCIではなく、VR_MANGR.IFO内の別のデータ構造として別途収録されている)の検索ポインタ番号(IT_TXT_SRPN)、プログラムを代表する静止画像の位置を指定する代表静止画情報(REP_PICTI)、等が定義される。 There are a number of PGIs indicated by PG_Ns. In each PGI, C_Ns indicating the number of cells in the program, primary text information (PRM_TXTI) containing text information about the program, item text information related to the program (not PGCI but another data structure in VR_MANGR.IFO Search pointer number (IT_TXT_SRPN), representative still image information (REP_PICTI) designating the position of a still image representing the program, and the like are defined.
CI_SRPは、CI_SRP_Nsで示される個数存在する。各CI_SRPはセル情報CIの先頭アドレスCI_SAから成る。
M_CIは、セル一般情報M_C_GIと0個以上のセルエントリーポイント情報M_C_EPIから成る。M_C_GI内には、セルのタイプC_TY、セルエントリーポイント数C_EPI、等が定義される。M_C_EPI内には、エントリーポイントのタイプEP_TY(AとB、AはPRM_TXTIなし、BはPRM_TXTIあり)、エントリーポイントの再生時刻EP_PTM、及びエントリーポイントに関するプライマリテキスト情報(PRM_TXTI)が定義される。
There are a number of CI_SRPs indicated by CI_SRP_Ns. Each CI_SRP consists of the start address CI_SA of the cell information CI.
M_CI includes cell general information M_C_GI and zero or more cell entry point information M_C_EPI. In M_C_GI, cell type C_TY, the number of cell entry points C_EPI, and the like are defined. In M_C_EPI, entry point type EP_TY (A and B, A is without PRM_TXTI, B is with PRM_TXTI), entry point playback time EP_PTM, and primary text information (PRM_TXTI) regarding the entry point are defined.
ここで、エントリーポイントとはセル内の任意の時刻を指定し、プログラムやセルの任意の中間地点へのアクセスを可能にする構造である。図11および図12中に、セル内に指定されるエントリーポイントの例(EPと示される矢印)を示す。 Here, an entry point is a structure that designates an arbitrary time in a cell and enables access to a program or an arbitrary intermediate point of the cell. FIG. 11 and FIG. 12 show examples of entry points specified in the cell (arrows indicated as EP).
なお、静止画のセルを再生する場合には、M_CIの代わりにS_CIが用いられる。(S_CIの内容はここでは省略する。) 従って、オリジナルPGC上に動画と静止画を記録する場合はセル毎に混在することになる。ユーザー定義PGC上も、セル毎に動画用セルと静止画用セルを混在させることが出来る。
解決しようとする問題点は、動画静止画データ同時記録装置において、2つの撮像素子を用いて単に動画と静止画を同時に記録するだけでなく、2つの撮像素子を動画のときのみ、あるいは静止画のときのみでもっと有効に活用する記録再生が望まれていた。 The problem to be solved is that, in the moving image still image data simultaneous recording apparatus, not only the moving image and the still image are simultaneously recorded using two image sensors, but also only when the two image sensors are moving images or still images. Recording / reproduction that can be used more effectively only at the time was desired.
そこで、上記課題を解決するために本発明は、以下のオーディオビデオ信号記録装置、オーディオビデオ信号再生装置、オーディオビデオ信号記録方法、オーディオビデオ信号再生方法、及び記録媒体を提供するものである。
(1)撮像レンズと、前記撮像レンズから入射された光線を分離する光路分離器と、前記光路分離器で分離された2つの光をそれぞれ受光して、画像信号として出力する2つの受光素子と、前記画像信号を動画として記録媒体に記録する動画像信号記録器と、前記画像信号を静止画像として記録媒体に記録する静止画信号記録器とを備えたオーディオビデオデータ同時記録装置において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能を持つことを特徴とするオーディオビデオ信号記録装置。
(2)撮像レンズと、前記撮像レンズから入射された光線を分離する光路分離器と、前記光路分離器で分離された2つの光をそれぞれ受光して、画像信号として出力する2つの受光素子と、前記画像信号を動画として記録媒体に記録する動画像信号記録器と、前記画像信号を静止画像として記録媒体に記録する静止画信号記録器とを備えたオーディオビデオデータ同時記録装置において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能によって生成された動画像と静止画像を記録媒体に記録した記録媒体。
(3)撮像レンズと、前記撮像レンズから入射された光線を分離する光路分離器と、前記光路分離器で分離された2つの光をそれぞれ受光して、画像信号として出力する2つの受光素子と、前記画像信号を動画として記録媒体に記録する動画像信号記録器と、前記画像信号を静止画像として記録媒体に記録する静止画信号記録器とを備えたオーディオビデオデータ同時記録装置において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能によって生成された動画像と静止画像を記録した記録媒体から動画像と静止画像を再生することを特徴とするオーディオビデオ信号再生装置。
(4)撮像レンズから入射された光線を2つに分離し、分離された2つの光をそれぞれ受光して、画像信号を入力するステップと、前記画像信号を動画として記録媒体に記録する動画像信号記録ステップと、前記画像信号を静止画像として記録媒体に記録する静止画信号記録ステップとを備えたオーディオビデオデータ同時記録方法において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能を持つことを特徴とするオーディオビデオ信号記録方法。
(5)撮像レンズから入射された光線を2つに分離し、分離された2つの光をそれぞれ受光して、画像信号を入力するステップと、前記画像信号を動画として記録媒体に記録する動画像信号記録ステップと、前記画像信号を静止画像として記録媒体に記録する静止画信号記録ステップとを備えたオーディオビデオデータ同時記録方法において、受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成する第一のモードと、受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成する第二のモードと、受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成する第三のモードとの3モードの機能によって生成された動画像と静止画像を記録した記録媒体から動画像と静止画像を再生するステップを持つことを特徴とするオーディオビデオ信号再生方法。
In order to solve the above problems, the present invention provides the following audio video signal recording apparatus, audio video signal reproducing apparatus, audio video signal recording method, audio video signal reproducing method, and recording medium.
(1) An imaging lens, an optical path separator that separates light beams incident from the imaging lens, and two light receiving elements that receive two lights separated by the optical path separator and output them as image signals, respectively In the audio video data simultaneous recording apparatus, comprising: a moving image signal recorder that records the image signal as a moving image on a recording medium; and a still image signal recorder that records the image signal as a still image on the recording medium. A first mode for synthesizing an image signal as data at different pixel positions using the two signals from and forming a still image or moving image having a number of pixels larger than the number of pixels of one signal; When synthesizing an image signal using both signals from the light receiving element as data at the same pixel position, an ND filter for dimming is placed on one of them to change the luminance range. The second mode to form a still image or a moving image with a wider dynamic range than the image of one signal and one signal from the light receiving element as a moving image, and the other as a still image An audio video signal recording apparatus having a function of a three mode with a third mode to be formed.
(2) an imaging lens, an optical path separator that separates light incident from the imaging lens, and two light receiving elements that receive the two lights separated by the optical path separator and output them as image signals, respectively In the audio video data simultaneous recording apparatus, comprising: a moving image signal recorder that records the image signal as a moving image on a recording medium; and a still image signal recorder that records the image signal as a still image on the recording medium. A first mode for synthesizing an image signal as data at different pixel positions using the two signals from and forming a still image or moving image having a number of pixels larger than the number of pixels of one signal; When synthesizing an image signal using both signals from the light receiving element as data at the same pixel position, an ND filter for dimming is arranged on one side and the luminance range is different. The second mode to form a still image or a moving image with a wider dynamic range than the image of one signal and one signal from the light receiving element as a moving image, and the other as a still image A recording medium in which a moving image and a still image generated by a three-mode function including a third mode to be formed are recorded on a recording medium.
(3) an imaging lens, an optical path separator that separates light rays incident from the imaging lens, and two light receiving elements that receive the two lights separated by the optical path separator and output them as image signals, In the audio video data simultaneous recording apparatus, comprising: a moving image signal recorder that records the image signal as a moving image on a recording medium; and a still image signal recorder that records the image signal as a still image on the recording medium. A first mode for synthesizing an image signal as data at different pixel positions using the two signals from and forming a still image or moving image having a number of pixels larger than the number of pixels of one signal; When synthesizing an image signal using both signals from the light receiving element as data at the same pixel position, an ND filter for dimming is arranged on one side and the luminance range is different. The second mode to form a still image or a moving image with a wider dynamic range than the image of one signal and one signal from the light receiving element as a moving image, and the other as a still image An audio video signal reproducing apparatus, wherein a moving image and a still image are reproduced from a recording medium on which a moving image and a still image generated by a function of a third mode to be formed are recorded.
(4) separating the light incident from the imaging lens into two, receiving each of the separated two lights, inputting an image signal, and recording the image signal as a moving image on a recording medium In an audio video data simultaneous recording method comprising a signal recording step and a still image signal recording step for recording the image signal as a still image on a recording medium, two signals from the light receiving element are used to make both the pixel positions different from each other. Using the first mode for synthesizing an image signal as data and forming a still image or moving image with a number of pixels larger than the number of pixels of one signal and two signals from the light receiving element, both are the same When synthesizing an image signal as pixel position data, an ND filter for dimming is arranged on one side and synthesized with different luminance ranges, and the image signal is wider than one signal image. Three-mode function: a second mode for forming a Mick Range still image or moving image, and a third mode for forming one signal from the light receiving element as a moving image and the other as a still image An audio video signal recording method characterized by comprising:
(5) separating the light incident from the imaging lens into two, receiving each of the separated two lights, inputting an image signal, and a moving image for recording the image signal on a recording medium as a moving image In an audio video data simultaneous recording method comprising a signal recording step and a still image signal recording step for recording the image signal as a still image on a recording medium, two signals from the light receiving element are used to make both the pixel positions different from each other. Using the first mode for synthesizing an image signal as data and forming a still image or moving image with a number of pixels larger than the number of pixels of one signal and two signals from the light receiving element, both are the same When synthesizing an image signal as pixel position data, an ND filter for dimming is arranged on one side and synthesized with different brightness ranges, so that it is wider than a single signal image. Three-mode function: a second mode for forming a Mick Range still image or moving image, and a third mode for forming one signal from the light receiving element as a moving image and the other as a still image A method for reproducing an audio video signal, comprising: a step of reproducing a moving image and a still image from a recording medium on which the moving image and the still image generated by the method are recorded.
本発明は撮像レンズと、前記撮像レンズから入射された光線を分離する光路分離器と、前記光路分離器で分離された2つの光をそれぞれ受光して、画像信号として出力する2つの受光素子と、前記画像信号を動画として記録媒体に記録する動画像信号記録器と、前記画像信号を静止画像として記録媒体に記録する静止画信号記録器とを備えたオーディオビデオデータ同時記録装置において、(1)受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成するモード、(2)受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成し、1つの信号の画像よりも明るい静止画像、もしくは動画像を形成するモード、(3)受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成するモード、の3モードの機能を持つようにしたので、2つの撮像素子からの画像データを画素をずらして使用するモード、2つの撮像素子からの画像データを画素をずらさずに使用し、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成するモード、2つの撮像素子からの画像データを独立して動画と静止画同時撮影するモードの3モードを選択的に使用することができ、動画だけ、あるいは静止画だけを撮影しているモードのときにも2つの撮像素子を有効に活用できるシステムを好適に実現することができる。 The present invention provides an imaging lens, an optical path separator that separates light incident from the imaging lens, and two light receiving elements that receive two lights separated by the optical path separator and output them as image signals, respectively. In an audio video data simultaneous recording apparatus comprising: a moving image signal recorder for recording the image signal as a moving image on a recording medium; and a still image signal recorder for recording the image signal as a still image on a recording medium. (2) A mode in which two signals from the light receiving element are used to synthesize an image signal using data at different pixel positions and form a still image or moving image having a number of pixels larger than the number of pixels of one signal. 2) Using two signals from the light receiving element, combining the image signals using both signals at the same pixel position to form a still image or moving image brighter than the image of one signal. (3) A mode in which one signal from the light receiving element is formed as a moving image, and the other is formed as a still image. Mode in which the pixels are shifted and used, the image data from the two image sensors is used without shifting the pixels, and an ND filter for dimming is arranged on one side and synthesized with different luminance ranges. Three modes can be selectively used: a mode that forms a still image or a dynamic image with a wider dynamic range than an image, and a mode that simultaneously captures video and still images of image data from two image sensors independently. In addition, it is possible to suitably realize a system that can effectively use the two image sensors even in a mode in which only moving images or only still images are captured.
以下、図面を参照しながら発明を実施するための最良の形態を説明する。
図1は本発明の実施例の好適なオーディオビデオ記録器のブロック図である。本実施例では動画をムービーで撮影中に、ユーザーからのタイミング情報により、動画録画を中断することなく、デジカメ静止画データを記録するものである。また、動画や静止画のみの場合には2つの撮像素子を有効につかって、画素ずらし処理をつかって解像度を向上したり、画素加算を行って感度を向上したりするものである。
Hereinafter, the best mode for carrying out the invention will be described with reference to the drawings.
FIG. 1 is a block diagram of a preferred audio video recorder of an embodiment of the present invention. In this embodiment, while shooting a moving image as a movie, digital camera still image data is recorded based on timing information from the user without interrupting moving image recording. In the case of only a moving image or a still image, the two image sensors are effectively used to improve the resolution by using a pixel shift process, and the sensitivity is improved by performing pixel addition.
以下のこのブロック図を説明する。入力されたビデオ光はレンズ101を通して、光路分離器102に入力される。レンズ101と光路分離器102は、図5のようにレンズ群と、例えばプリズムを用いて2つの光路に分離される。プリズムでなくてもハーフミラーでも構わない。2つに分離された光は動画用受光素子104と、静止画用105に入光される。受光素子は例えばCCDやCMOSなどである。受光素子104からのデータはA/D変換106においてA/D変換されて、デジタルデータとしてスイッチ109に入力される。受光素子105からのデータは、スイッチ126のaを経由してA/D変換107においてA/D変換されて、デジタルデータとしてスイッチ110に入力される。またスイッチのbを経由して、NDフィルタ127に入力される。NDフィルタ127の出力はA/D変換107においてA/D変換されて、デジタルデータとしてスイッチ110に入力される。このNDフィルターは減光用のフィルタであり、輝度レンジをもう一方と異ならせ、2つの信号を合成することでダイナミックレンジの広い信号をえることができる。この原理を図7を用いて説明する。図7の(1)は撮像する画像の輝度を横軸に、CCDの出力を縦軸にして、なにもフィルタのないCCDの出力を71、NDフィルタの出力を72として示したものである。NDフィルタをつけたCCDは同じ輝度でもCCDの出力が低い。したがって、輝度飽和度の高い画像がきてもCCDの出力が飽和せずに明るい輝度領域の画像の表現力が高い。一方なにもないCCD71は輝度の低い領域で表現力が高い。そこで図7の(2)のように切り替え値Sにおいて高い輝度の領域をNDフィルターCCDの出力74で、切り替え値Sより低い輝度の領域では何もないCCDの出力73を用いて、双方の出力に所定のノンリニアのテーブルを介して、合成画像特性75を計算で求めると、輝度の高い領域も低い領域も表現力の高い、高ダイナミックレンジの画像が得られる。スイッチ109とスイッチ110のaの出力端子はそれぞれ画素ずらし画像生成器111に入力される。画素ずらしとは図4の(3)のように画素を水平垂直に半画素ずらして擬似的に解像度を水平垂直に2倍に向上させる手法である。画素ずらし生成器111の出力はスイッチ113及びスイッチ114のaに入力される。またスイッチ109とスイッチ110のbの出力端子はそれぞれ画素加算画像生成器112に入力される。画素加算とは図4の(2)のように2つの画素を画素ずらしのようにずらさないで対応する位置の画素を加算して感度を向上させる手法である。スイッチ127をaにした場合には、そもそもレンズから2光路に分解しているので光強度は半分弱になっているため2つの光は加算することでほぼもとの感度に戻すことができる。またスイッチ127をbにした場合には、前述のようにダイナミックレンジの広い画像データをえることができる。画素加算生成器112の出力はスイッチ113及びスイッチ114のbに入力される。またスイッチ109の出力端子cはスイッチ113のcに入力される。またスイッチ110の出力端子cはスイッチ114のcに入力される。スイッチ109、110、113、114は静止画と動画を同時録画する場合にはcに切り替えられる。動画と静止画が独立に記録される場合で、静止画に画素ずらしを用いて画素数を向上する場合にはスイッチ109、113、127はaに切り替えられる。静止画に画素加算を用いて感度を向上する場合にはスイッチ109、113、127はbに切り替えられる。動画と静止画が独立に記録される場合で、動画に画素ずらしを用いて画素数を向上する場合にはスイッチ110、114、127はaに切り替えられる。動画に画素加算を用いて感度を向上する場合にはスイッチ110、114、127はbに切り替えられる。スイッチ113の出力は静止画符号化器119に伝送される。スイッチ114の出力は動画符号化器120に伝送される。一方、オーディオ入力器103にからのオーディオデータはA/D変換器108にてデジタルデータに変換され、音声符号化器118に入力される。音声符号化器118は例えばドルビーAC3、静止画符号化器119は例えばJPEG、動画符号化器120は例えばMPEG2での圧縮を行うものである。それぞれの符号化された符号化データは、多重化器122にて、1つのデータに多重化される。多重化されたデータはディスクフォーマット器124にて、後述するディスクフォーマットにてフォーマット化され、記録媒体書き込み器123へ入力される。 This block diagram is described below. The input video light is input to the optical path separator 102 through the lens 101. The lens 101 and the optical path separator 102 are separated into two optical paths using a lens group and, for example, a prism as shown in FIG. A half mirror may be used instead of a prism. The separated light enters the moving image light receiving element 104 and the still image 105. The light receiving element is, for example, a CCD or a CMOS. Data from the light receiving element 104 is A / D converted by the A / D converter 106 and input to the switch 109 as digital data. Data from the light receiving element 105 is A / D converted by the A / D converter 107 via a of the switch 126 and input to the switch 110 as digital data. Further, the signal is input to the ND filter 127 via b of the switch. The output of the ND filter 127 is A / D converted by the A / D converter 107 and input to the switch 110 as digital data. This ND filter is a filter for dimming, and a signal with a wide dynamic range can be obtained by combining two signals with a different luminance range from the other. This principle will be described with reference to FIG. (1) in FIG. 7 shows the brightness of the image to be captured on the horizontal axis, the output of the CCD on the vertical axis, the output of the CCD without any filter as 71, and the output of the ND filter as 72. . A CCD with an ND filter has a low CCD output even at the same brightness. Therefore, even if an image with a high luminance saturation is displayed, the output of the CCD is not saturated, and the power of expressing an image in a bright luminance region is high. On the other hand, the nothing CCD 71 has high expressive power in a low luminance region. Therefore, as shown in (2) of FIG. 7, a high luminance area at the switching value S is an output 74 of the ND filter CCD, and an output 73 of the CCD having nothing in the luminance area lower than the switching value S is used to output both. When the composite image characteristic 75 is calculated through a predetermined non-linear table, an image with a high dynamic range in which a high luminance region and a low luminance region have high expressive power can be obtained. The output terminals of the switches 109 and 110 a are respectively input to the pixel-shifted image generator 111. The pixel shift is a technique for artificially improving the resolution twice in the horizontal and vertical directions by shifting the pixels by half a pixel in the horizontal and vertical directions as shown in FIG. The output of the pixel shift generator 111 is input to the switches 113 and 114 a. The output terminals b of the switch 109 and the switch 110 are input to the pixel addition image generator 112, respectively. Pixel addition is a technique for improving the sensitivity by adding pixels at corresponding positions without shifting the two pixels like shifting the pixels as shown in (2) of FIG. When the switch 127 is set to “a”, since the lens is decomposed into two optical paths in the first place, the light intensity is slightly reduced by half. Therefore, the two lights can be added to almost return to the original sensitivity. When the switch 127 is set to b, image data with a wide dynamic range can be obtained as described above. The output of the pixel addition generator 112 is input to b of the switch 113 and the switch 114. The output terminal c of the switch 109 is input to c of the switch 113. The output terminal c of the switch 110 is input to c of the switch 114. The switches 109, 110, 113, and 114 are switched to c when recording still images and moving images simultaneously. In the case where a moving image and a still image are recorded independently, and the number of pixels is improved by using pixel shifting in the still image, the switches 109, 113, and 127 are switched to a. When the sensitivity is improved using pixel addition for a still image, the switches 109, 113, and 127 are switched to b. When a moving image and a still image are recorded independently, and the number of pixels is improved by using pixel shifting in the moving image, the switches 110, 114, and 127 are switched to a. When the sensitivity is improved by using pixel addition for a moving image, the switches 110, 114, and 127 are switched to b. The output of the switch 113 is transmitted to the still image encoder 119. The output of the switch 114 is transmitted to the moving image encoder 120. On the other hand, the audio data from the audio input device 103 is converted to digital data by the A / D converter 108 and input to the speech encoder 118. The audio encoder 118 compresses, for example, Dolby AC3, the still image encoder 119, for example, JPEG, and the moving image encoder 120, for example, compresses to MPEG2. Each encoded encoded data is multiplexed into one data by the multiplexer 122. The multiplexed data is formatted by the disk formatter 124 in the disk format described later and input to the recording medium writer 123.
一方、ユーザーインターフェース115においては、動画をムービーで記録している途中において、ユーザーから、ボタンなどを押す動作に連携して、押したときのタイミング情報を入力してもらう。CPU116を介して、静止画撮影タイミング信号発生器117において、静止画録画開始信号と、同時に録画されているリンクされているビデオのプログラムナンバーと、リンクされているビデオのピクチャータイムコードを、静止画符号化器119に送信する。 On the other hand, in the user interface 115, in the middle of recording a moving image as a movie, the user inputs timing information at the time of pressing in cooperation with an operation of pressing a button or the like. The still image shooting timing signal generator 117 receives the still image recording start signal, the program number of the linked video being recorded at the same time, and the picture time code of the linked video via the CPU 116. The data is transmitted to the encoder 119.
ビデオのプログラムナンバーは表3のLinked_video_programの領域に、表1のV_PR_IFOの2番目のPR_numberの値である。ビデオのピクチャータイムコードは同時に録画されているリンクされているビデオの所謂タイムコードであり、MPEGなどでもGOP単位にGOPヘッダーとして時分秒フレーム数で記述されているタイムコードと同じもので良い。また、この情報は動画データのなかのピクチャーを特定できる情報(動画像のピクチャーの位置情報)であればタイムコードでなくても、先頭からのフレーム数であったり、先頭からのアドレス(バイト数)であっても良い。
また、同時に静止画録画開始信号と、静止画の識別情報(後述するS_PRN)を、動画符号化器120にも送信し、動画符号化データの1ピクチャー毎に記録できるMPEGのユーザーデータ領域に、そのタイミングに同期して符号化される静止画の識別情報(後述するS_PRN)を記述する。これは表3の静止画の情報のうち、静止画1枚ずつに記述される静止画プログラムのナンバーである。この情報があると、動画再生中に、一次停止した動画フレームと同じタイミングで撮影した静止画像を特定できる。動画中へのデータの書き込みは図2のようにMPEGのピクチャーデータのなかのユーザーデータの領域に記述する。ユーザーデータは表3のMPEG2のビデオレーヤのシンタックスにおけるUser_data()を使用する。user_data()は、user_start_codeという一意い決定できるバイトアラインされたスタートコードから始まり、次に0x000001の3バイトを受信するまで、user_dataを続けることができる。ここに静止画の識別情報(後述するS_PRN)を記述する。その際、他のアプリケーションでuser_data()を使用している可能性もあるので、user_data()のuser_start_codeのあとに、本方式のデータであることを示す、4バイト程度のユニークコード0x22220204を記述する。これにより他の用途で使用するユーザーデータとの混同は防げる。
The video program number is the value of the second PR_number of V_PR_IFO in Table 1 in the Linked_video_program area of Table 3. The picture time code of the video is a so-called time code of the linked video that is recorded at the same time. In MPEG or the like, it may be the same as the time code described in the GOP header as the GOP header in the number of frames per hour, minute, and second. In addition, this information can be the number of frames from the beginning or the address from the beginning (number of bytes), even if it is not a time code, as long as it is information that can identify a picture in moving image data (position information of a moving picture picture). ).
At the same time, a still picture recording start signal and still picture identification information (S_PRN, which will be described later) are also transmitted to the moving picture encoder 120, and recorded in the MPEG user data area where each picture of the moving picture coded data can be recorded. The identification information (S_PRN described later) of the still image encoded in synchronization with the timing is described. This is the number of the still picture program described for each still picture in the still picture information in Table 3. With this information, it is possible to specify a still image taken at the same timing as the moving image frame that was temporarily stopped during moving image reproduction. The writing of data into the moving image is described in the user data area in the MPEG picture data as shown in FIG. User data uses User_data () in the syntax of the MPEG2 video layer shown in Table 3. user_data () starts with a uniquely determinable byte-aligned start code user_start_code and can continue with user_data until the next 3 bytes of 0x000001 are received. Here, still image identification information (S_PRN described later) is described. At that time, there is a possibility that user_data () is used in another application. Therefore, after the user_start_code of user_data (), a unique code 0x22220204 of about 4 bytes indicating the data of this method is described. . This prevents confusion with user data used for other purposes.
さらにCPU116は管理データメモリー121に、静止画の識別情報(後述するS_PRN)の書き込みなどの制御信号を送信する。また、静止画撮影タイミング信号発生器117からは、その制御信号に従って管理データメモリー121に静止画の識別情報(後述するS_PRN)を書き込む。管理データ121に記録されているデータはディスクフォーマット器124からの多重化されたオーディオビデオ信号データとともに、CPU116からの制御信号に従って、記録媒体125に記録される。 Further, the CPU 116 transmits a control signal such as writing of still image identification information (S_PRN described later) to the management data memory 121. Further, the still image capturing timing signal generator 117 writes still image identification information (S_PRN described later) in the management data memory 121 in accordance with the control signal. The data recorded in the management data 121 is recorded on the recording medium 125 according to the control signal from the CPU 116 together with the multiplexed audio video signal data from the disk formatter 124.
図3は本発明の実施例の好適なオーディオビデオ再生器のブロック図である。 まず記録媒体201からCPU204からの制御信号により記録媒体読み出し器202によって、オーディオビデオデータと、管理データが読み込まれる。管理データは管理データメモリー206に記録される。オーディオビデオデータはディスクフォーマットデコーダー器205に入力される。ディスクフォーマットデコーダー器205では、後述するディスクフォーマットをフォーマットデコード化して多重化分離器207に入力される。多重化分離器207では、各要素のデータが多重化されている状態から、各要素データへと分離し、音声データは音声復号器209、静止画データは静止画復号器210、動画データは動画復号器211へ入力される。静止画と動画は復号されるとフレームバッファ212にバッファされる。一方、ユーザーインターフェース(U/I)203によって動画再生中に、ピクチャー毎に規則されている静止画の記録されている時刻にて一時停止をして、高解像度の静止画を表示する場合には表示を行うトリガー信号が入力されて、その信号はCPU204に伝送される。CPU204ではそのトリガー信号を受けて、再生制御器208へ制御信号を伝送する。再生制御器208では記録媒体読み出し器に読み出しを一時停止する信号を伝送すると同時に、再生していづ動画の符号化データのピクチャー毎に記録されているユーザーデータを観測し、そこに図2に示した識別コード0x22220204のあとS_PRNという静止画のプログラムナンバーを検出する。 FIG. 3 is a block diagram of a preferred audio video player of an embodiment of the present invention. First, audio video data and management data are read from the recording medium 201 by the recording medium reader 202 in accordance with a control signal from the CPU 204. Management data is recorded in the management data memory 206. The audio video data is input to the disc format decoder unit 205. In the disk format decoder 205, a disk format described later is format decoded and input to the demultiplexer 207. The demultiplexer 207 separates the data of each element from the multiplexed state into each element data. The audio data is the audio decoder 209, the still image data is the still image decoder 210, and the moving image data is the moving image data. Input to the decoder 211. When still images and moving images are decoded, they are buffered in the frame buffer 212. On the other hand, when displaying a high-resolution still image by pausing at the time when the still image defined for each picture is recorded during moving image playback by the user interface (U / I) 203 A trigger signal for performing display is input, and the signal is transmitted to the CPU 204. The CPU 204 receives the trigger signal and transmits a control signal to the reproduction controller 208. The playback controller 208 transmits a signal for temporarily stopping reading to the recording medium reader, and simultaneously observes the user data recorded for each picture of the encoded data of the moving image as shown in FIG. After the identification code 0x22220204, the program number of the still image S_PRN is detected.
高解像度表示するために一時停止する場合には、そのプログラムナンバーに対応するS_PR_IFOのなかのS_ATRのLinked_video_programの値が0でない信号であるピクチャーのところで一時停止する。この信号は動画のピクチャーを時間方向に並べた場合、対応した静止画が記録されているのが仮に1秒に1枚、即ち30フレームに1枚であれば、最大30枚観測すれば1枚は見つかるはずで、その場合には最大1秒程度一時停止が遅れる。普通の一時停止は動画上のどこのフレームでも一時停止可能である。一時停止したら、再生制御器は記録媒体読み出し器に、その動画の対応する静止画データ(S_PRNのプログラムナンバーのついている静止画データ)をアクセスして、ディスクフォーマットデコーダー器205と多重化分離器207を経由して、静止画復号器211にて静止画を復号し、フレームバッファに、動画の一時停止しているデータと交換して、静止画データをバッファリングする。図4の(1)のように、動画撮影中にシャッターボタンを押して静止画を記録した画像が真ん中の画像だとすると、その動画一時停止した画像が(2)のように高解像度の画像にて表示される。この画像はCCDの能力によるが1つのCCDの画素解像度の2倍の解像度をもつ。従ってたとえばズームした場合でも動画の表示解像度を基準に考えれば、静止画の解像度は劣化しない。例えば1600x1200の画素のうち720x480を切り出すような画郭であれば解像度は劣化しない。それ以上小さいウインドウを720x480まで拡大するということになれば、従来の技術にあるフィルターによるオーバーサンプル(フィルター処理で補間する)をおこなって表示することも可能で、これと組み合わせることで、連続的な拡大機能を持たせることができる。また、動画から静止画のバッファの切り替えにより、ユーザーに表示させる画像が大きく変化しないようすることもできる。フレームバッファ212は前記の説明のように、動画像あるいは、静止画像を受信して、バッファすると同時に、再生制御器208の信号にてバッファを動画データと静止画データを、適切に切り替えて画像出力器214に伝送する。一方、音声復号器209では音声データを音声出力器213(例えばスピーカ)などで出力する。 When pausing for high-resolution display, the picture is paused at a picture whose S_ATR Linked_video_program value is not 0 in S_PR_IFO corresponding to the program number. If the video images are arranged in the time direction, the corresponding still image is recorded once per second, that is, one in 30 frames. Should be found, in which case the pause is delayed up to about 1 second. Normal pause can be paused at any frame on the video. When paused, the playback controller accesses the recording medium reader to the corresponding still image data (still image data with the program number of S_PRN) of the moving image, and the disk format decoder 205 and the multiplexing separator 207 Then, the still image decoder 211 decodes the still image and exchanges the still image data in the frame buffer with the temporarily stopped data of the moving image. As shown in (1) of FIG. 4, if the image where the still image was recorded by pressing the shutter button during movie shooting is the middle image, the paused image of the movie is displayed as a high-resolution image as shown in (2) Is done. This image has a resolution that is twice the pixel resolution of one CCD, depending on the capabilities of the CCD. Therefore, for example, even when zoomed, the resolution of a still image does not deteriorate if the display resolution of the moving image is considered as a reference. For example, the resolution does not deteriorate if the image is cut out of 720 × 480 out of 1600 × 1200 pixels. If the window that is smaller than that is expanded to 720x480, it is possible to display by oversampling (interpolating by filter processing) using a filter in the conventional technique, Can have an enlargement function. In addition, it is possible to prevent the image displayed to the user from changing greatly by switching the buffer from the moving image to the still image. As described above, the frame buffer 212 receives and buffers a moving image or a still image, and at the same time outputs the image by appropriately switching the moving image data and the still image data with the buffer of the playback controller 208. To the device 214. On the other hand, the audio decoder 209 outputs audio data through an audio output unit 213 (for example, a speaker).
次にディスクフォーマット化器124でフォーマット化、及び、ディスクフォーマットデコーダー器205でフォーマットデコードされるデータ構造について説明する。
本発明の実施形態に関わるディレクトリ、ファイル構造の例を図15に示す。ディレクトリ名やファイル名は本発明の実施形態を説明する目的で使われており、これ以外の名称を否定するものではない。ルートディレクトリ(図示しない)の下にJVC_HDVD_SYSTEMディレクトリがあり、その下に、本発明に関わる全ての管理データ及びオーディオ、ビデオ、静止画データが保存される。
Next, a data structure that is formatted by the disk formatter 124 and format-decoded by the disk format decoder 205 will be described.
FIG. 15 shows an example of the directory and file structure according to the embodiment of the present invention. Directory names and file names are used for the purpose of describing embodiments of the present invention, and other names are not negated. There is a JVC_HDVD_SYSTEM directory under a root directory (not shown), under which all management data, audio, video, and still image data related to the present invention are stored.
TMG.ifo(Total Manager Information)は、オリジナル管理データ(以下、プログラムセットとも呼ぶ)及びユーザー定義管理データ(以下、プレイリストとも呼ぶ)を記録する為のファイルである。構造を図16に示す。詳細は後述する。 TMG.ifo (Total Manager Information) is a file for recording original management data (hereinafter also referred to as a program set) and user-defined management data (hereinafter also referred to as a playlist). The structure is shown in FIG. Details will be described later.
V_PR_SETは、ビデオのプログラムをビデオオブジェクトとして記録する為のディレクトリであり、その中にビデオの各プログラムがV_PRn.dat (ここで、nは1から開始されるプログラム番号)として記録される。プログラムにはビデオオブジェクトが、MPEG-2システム規格のプログラムストリームまたは、トランスポートストリームとして記録される。
A_PR_SETは、オーディオのプログラムをオーディオオブジェクトとして記録する為のディレクトリであり、その中にオーディオの各プログラムがA_PRn.dat (ここで、nは1から開始されるプログラム番号)として記録される。プログラムにはオーディオオブジェクトが、MPEG-2システム規格のプログラムストリームまたは、トランスポートストリームとして記録される。
V_PR_SET is a directory for recording a video program as a video object, and each video program is recorded therein as V_PRn.dat (where n is a program number starting from 1). Video objects are recorded in the program as MPEG-2 system standard program streams or transport streams.
A_PR_SET is a directory for recording an audio program as an audio object, and each audio program is recorded as A_PRn.dat (where n is a program number starting from 1). Audio objects are recorded in the program as MPEG-2 system standard program streams or transport streams.
ビデオまたはオーディオオブジェクトをプログラムストリームとして記録する場合には図9のように、MPEG多重化規格のフォーマットに従い、要素データ毎にパック化を行う。オブジェクトはパックの集合として記録され、各パックにはパックヘッダがあり、その後にパケットが記録される。パケット内にはパケットヘッダと、ビデオ又はオーディオデータが少なくとも記録され、必要に応じてプライベートヘッダがパケットヘッダの直後に記録される場合がある。 When a video or audio object is recorded as a program stream, it is packed for each element data according to the format of the MPEG multiplexing standard as shown in FIG. Objects are recorded as a set of packs, each pack has a pack header, followed by a packet. A packet header and at least video or audio data are recorded in the packet, and a private header may be recorded immediately after the packet header as necessary.
S_PR_SETは、静止画のプログラムを静止画オブジェクトとして記録する為のディレクトリであり、その中に静止画の各プログラムがS_PRn.jpg (ここで、nは1から開始されるプログラム番号)として記録される。ここではJPEG形式の静止画記録を想定している。各JPEGファイルが一つの静止画オブジェクトに対応する。 S_PR_SET is a directory for recording a still picture program as a still picture object, in which each still picture program is recorded as S_PRn.jpg (where n is a program number starting from 1). . Here, JPEG format still image recording is assumed. Each JPEG file corresponds to one still image object.
なお、図15ではビデオ、オーディオ、静止画のプログラムに関するファイル群をそれぞれ異なるディレクトリ下に記録する例を示したが、3種全てのファイル群を同一ディレクトリ、例えばAVS_PR_SETなど、の下に記録するようにしても、本発明の趣旨と相違しない。さらには、ビデオのプログラムをそれぞれ一つのファイルV_PRn.datとして記録する例、及びオーディオのプログラムをそれぞれ一つのファイルA_PRn.datとして記録する例を示したが、全てのビデオプログラムを同一のファイル、例えばV_PR.dat内に連続して記録し、V_PR.dat内のどの部分がどのプログラムデータに相当するかを別途の情報として保持するようにしても良い。A_PR.datについても同様である。 Although FIG. 15 shows an example in which file groups related to video, audio, and still image programs are recorded under different directories, all three file groups are recorded under the same directory, for example, AVS_PR_SET. However, it does not differ from the gist of the present invention. Further, an example in which each video program is recorded as one file V_PRn.dat and an example in which each audio program is recorded as one file A_PRn.dat have been shown. It may be recorded continuously in V_PR.dat, and which part in V_PR.dat corresponds to which program data may be held as separate information. The same applies to A_PR.dat.
次に、TMG.ifoのデータ構造例を図16に示す。TOTAL_MAN_IFO(Total Manager Information)は、GENERAL_IFO(General Information)、CNTNT_IFO(Content Information)及びSTATUS_IFO(Status Information)からなる。 Next, FIG. 16 shows an example of the data structure of TMG.ifo. TOTAL_MAN_IFO (Total Manager Information) includes GENERAL_IFO (General Information), CNTNT_IFO (Content Information), and STATUS_IFO (Status Information).
GENERAL_IFOは、System IDやVersion number、 及びCNTNT_IFOとSTATUS_IFOの先頭アドレスなど、TOTAL_MAN_IFOの一般情報を含み得る。詳細を表6に記述する。STATUS_IFOは、最後に再生したプログラムの種類や番号など、ステータスに関する情報を含み得る。
CNTNT_IFOは、ビデオプログラム情報テーブルV_PR_IFOT(Video Program Information Table)、オーディオプログラム情報テーブルA_PR_IFOT(Audio Program Information Table)、静止画プログラム情報テーブルS_PR_IFOT(Still picture Program Information Table)、及びユーザー定義管理データに相当するプレイリスト情報テーブルPL_IFOT(Play List Information Table)から成る。V_PR_IFOT、A_PR_IFOT及びS_PR_IFOTの3つが(従来例の)オリジナル管理データに相当する。
GENERAL_IFO may include general information of TOTAL_MAN_IFO such as System ID, Version number, and the start address of CNTNT_IFO and STATUS_IFO. Details are described in Table 6. The STATUS_IFO may include information regarding the status such as the type and number of the last played program.
CNTNT_IFO is a video program information table V_PR_IFOT (Video Program Information Table), an audio program information table A_PR_IFOT (Audio Program Information Table), a still picture program information table S_PR_IFOT (Still picture Program Information Table), and a play corresponding to user-defined management data It consists of a list information table PL_IFOT (Play List Information Table). Three of V_PR_IFOT, A_PR_IFOT, and S_PR_IFOT correspond to the original management data (conventional example).
更に、V_PR_IFOTは、各ビデオプログラムのビデオプログラム情報V_PR_IFO_i(iは1からnまでの整数)を含む。
A_PR_IFOTは、各オーディオプログラムのオーディオプログラム情報A_PR_IFO_j(jは1からmまでの整数)を含む。S_PR_IFOTは、各静止画プログラムの静止画プログラム情報S_PR_IFO_k(kは1からqまでの整数)を含む。PL_IFOTは、各プレイリストの情報PL_IFO_p(pは1からrまでの整数)を含む。なお、以下では上述のi、 j、 k、 pをそれぞれPR_IFO番号と呼ぶことにする。
Furthermore, V_PR_IFOT includes video program information V_PR_IFO_i (i is an integer from 1 to n) of each video program.
A_PR_IFOT includes audio program information A_PR_IFO_j (j is an integer from 1 to m) of each audio program. S_PR_IFOT includes still picture program information S_PR_IFO_k (k is an integer from 1 to q) of each still picture program. PL_IFOT includes information PL_IFO_p (p is an integer from 1 to r) of each playlist. In the following, i, j, k, and p are referred to as PR_IFO numbers.
表1にV_PR_IFO_iのデータフィールドと内容の例を示す。データフィールドの中で、PR number (V_PRN)はこのビデオプログラムの番号を示し、V_PR_IFO番号と等しい。Video Group number (V_GRN)は、このプログラムが属するビデオグループの番号を示す(後述)。V_ATRには表1の下の表にあるようなシンタックスを記述する。ここには、ビデオの画像がどんな圧縮方式で記録されているのかを示す、Video_compression_modeや、PALやNTSCのTVシステムを識別するTV_system情報、アスペクト情報、それに水平、垂直の画素数、が記録される。その他のデータフィールドについてはここでは説明を省略する。なお、V_PR_IFOはビデオプログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を収める為のものであり、表1の例以外にも様々な情報構造をとり得ることに注意されたい。 Table 1 shows an example of data fields and contents of V_PR_IFO_i. In the data field, PR number (V_PRN) indicates the number of this video program and is equal to the V_PR_IFO number. Video Group number (V_GRN) indicates the number of the video group to which this program belongs (described later). In V_ATR, syntax as shown in the table below Table 1 is described. Here, Video_compression_mode indicating what compression method the video image is recorded in, TV_system information identifying the PAL or NTSC TV system, aspect information, and the number of horizontal and vertical pixels are recorded. . Description of other data fields is omitted here. It should be noted that V_PR_IFO is for storing address information, attribute information, and accompanying information such as text necessary for playback of the video program, and can take various information structures other than the example in Table 1.
表2にはA_PR_IFO_jのデータフィールドと内容の例を示す。データフィールドの中で、PR number (A_PRN)はこのオーディオプログラムの番号を示し、A_PR_IFO番号と等しい。Audio Group number (A_GRN)は、このプログラムが属するオーディオグループの番号を示す(後述)。Track number (TKN)はオーディオグループ内のトラック番号を示す。その他のデータフィールドについてはここでは説明を省略する。なお、A_PR_IFOはオーディオプログラムの再生に必要なアドレス情報や属性情報、テキスト等の付随情報を収める為のものであり、表2の例以外にも様々な情報構造をとり得ることに注意されたい。 Table 2 shows an example of data fields and contents of A_PR_IFO_j. In the data field, PR number (A_PRN) indicates the number of this audio program and is equal to the A_PR_IFO number. Audio Group number (A_GRN) indicates the number of the audio group to which this program belongs (described later). Track number (TKN) indicates the track number in the audio group. Description of other data fields is omitted here. It should be noted that A_PR_IFO is for storing address information, attribute information, and accompanying information such as text necessary for reproduction of the audio program, and can take various information structures other than the example in Table 2.
表3には、S_PR_IFO_kのデータフィールドと内容の例を示す。データフィールドの中で、PR number (S_PRN)はこの静止画プログラムの番号を示し、S_PR_IFO番号と等しい。Still picture Group number (S_GRN)は、このプログラムが属する静止画グループの番号を示す(後述)。Linked_video_program_numberには、この静止画とリンクされているビデオのPR_numberを記述する。なお、リンクされていない場合には0を記述する。また、Linked_video_entry_timeにはリンクされているビデオのピクチャーのタイムコードを記述する。S_ATRは表3の下の表のシンタックスに示したように、ビデオの画像がどんな圧縮方式で記録されているのかを示す、Video_compression_modeや、PALやNTSCのTVシステムを識別するTV_system情報、アスペクト情報、静止画像の水平画素数を示すHorizontal_video_resolution情報、静止画像の垂直画素数を示すVertical_video_resolution情報などがある。その他のデータフィールドについてはここでは説明を省略する。なお、S_PR_IFOは静止画プログラムの再生に必要な属性情報、テキスト等の付随情報を収める為のものであり、表3の例以外にも様々な情報構造をとり得ることに注意されたい。 Table 3 shows an example of data fields and contents of S_PR_IFO_k. In the data field, PR number (S_PRN) indicates the number of this still picture program and is equal to the S_PR_IFO number. Still picture Group number (S_GRN) indicates the number of a still picture group to which this program belongs (described later). Linked_video_program_number describes the PR_number of the video linked to this still picture. If it is not linked, 0 is described. Also, Linked_video_entry_time describes the time code of the linked video picture. As shown in the syntax in the table below Table 3, S_ATR indicates Video_compression_mode indicating the compression format of the video image, TV_system information identifying the PAL or NTSC TV system, and aspect information. And Horizontal_video_resolution information indicating the number of horizontal pixels of the still image, Vertical_video_resolution information indicating the number of vertical pixels of the still image, and the like. Description of other data fields is omitted here. It should be noted that S_PR_IFO is for storing attribute information necessary for reproduction of a still picture program, accompanying information such as text, and can take various information structures other than the example in Table 3.
表4には、PL_IFO_pのデータフィールドと内容の例を示す。データフィールドの中で、PL numberはこのプレイリストの番号を示す。num_of_ud_programsは、このプレイリストに含まれるユーザー定義プログラム数を示す。一つのユーザー定義プログラムUD_PR(User Defined Program)内には、一つ以上のビデオプログラム、一つ以上のオーディオプログラムまたは一つ以上の静止画プログラムが収録される。または、一つ以上のオーディオプログラムと、それと同時に再生すべき一つ以上の静止画プログラムが収録される場合もある(後述)。UD_PR_modeは、再生すべきUD_PRがビデオ、オーディオ、静止画のいずれのプログラムを含むかを示す。その他のデータフィールドについてはここでは説明を省略する。各プログラムの機能、プログラムとユーザー定義プログラム、プレイリストの関係などについては後述する。なお、PL_IFOは各プログラムを関連付けて再生するのに必要な情報を収める為のものであり、表4の例以外にも様々な情報構造をとり得ることに注意されたい。 Table 4 shows an example of the data field and contents of PL_IFO_p. In the data field, PL number indicates the number of this playlist. num_of_ud_programs indicates the number of user-defined programs included in this playlist. In one user-defined program UD_PR (User Defined Program), one or more video programs, one or more audio programs, or one or more still image programs are recorded. Alternatively, one or more audio programs and one or more still image programs to be reproduced at the same time may be recorded (described later). UD_PR_mode indicates whether the UD_PR to be reproduced includes a video, audio, or still image program. Description of other data fields is omitted here. The function of each program, the relationship between the program and user-defined program, the playlist, etc. will be described later. It should be noted that PL_IFO is for storing information necessary for associating and reproducing each program, and can take various information structures other than the example in Table 4.
次に、本発明の記録方法について図6のフローチャートを用いて説明する。まずステップ601において記録のスタートをする。次にステップ602において記録モードの設定を行う。次にステップ603で静止画動画同時記録であるかどうかを判定する。静止画動画同時記録を行う(YES)の場合には、例えばユーザーから静止画記録を指示するボタンなどのユーザーインターフェースにて行う。ボタンはたとえば1回押すと動画記録がスタートし、同じボタンを2度目におすと静止画が1ピクチャー(フレームであってもフィールドであっても良い)を記録するなど、ユーザーが使いやすいようなボタン操作インターフェースを実装するのが好ましい。次にステップ604にて動画音声データを録画開始をする。次にステップ605において静止画記録を所定のタイミングで行うかどうかを判定する。静止画記録をする場合(YES)にはステップ606において図1におけるスイッチ109、110、113、114をcに切り替える。静止画記録をしない場合(NO)には後述するステップ609に進む。次にステップ607において静止画データの録画をする。次にステップ608にて静止画撮像タイミング信号と予め設定してある静止画サイズ情報を発生する。次にステップ609にて入力データの蓄積符号化を行う。動画データは一時メモリーして、MPEG2圧縮符号化を行う。静止画は1枚ごとにメモリーをしてJPEG圧縮符号化を行う。またオーディオデータは動画とともに連続して、所定の単位時間メモリーしたあとドルビーAC3やMPEG音声符号化などの圧縮符号化を行う。次にステップ610において符号化されたデータを要素データ(ビデオやオーディオなどの要素)をパック化して、識別ヘッダーやタイムスタンプなどを付加して多重化を行う。次にステップ611において動画データのピクチャー毎のユーザーデータ領域に、静止画の識別信号を記録する。これは前述のように、そのタイミングに同期して符号化される静止画の識別情報(後述するS_PRN)である。これは表3の静止画の情報のうち、静止画1枚ずつに記述される静止画プログラムのナンバーである。その次にステップ612において、多重化されたデータと前記ユーザーデータを、図15のフォーマットにしたがってフォーマット化し、バッファリングする。バッファにある程度のデータ量が蓄積されたら、記録媒体に記録する。次にステップ613において記録が全部終了したかどうかを判定し、終了(YES)であればステップ614に進み、記録結果に基づいて管理データ(IFO)を図16のフォーマットにしたがってフォーマット化し、記録媒体に記録する。次にステップ615に進み終了する。またステップ613で終了でない(NO)であればステップ605へ戻る。 Next, the recording method of the present invention will be described with reference to the flowchart of FIG. First, in step 601, recording is started. Next, in step 602, the recording mode is set. Next, in step 603, it is determined whether or not simultaneous recording of still images and moving images. In the case of simultaneous recording of still images and moving images (YES), for example, the user interface such as a button for instructing recording of still images from the user is performed. For example, when a button is pressed once, video recording starts, and when the same button is pressed a second time, a still image is recorded as one picture (which may be a frame or a field). It is preferable to implement a button operation interface. Next, in step 604, recording of moving image audio data is started. Next, in step 605, it is determined whether or not still image recording is performed at a predetermined timing. When recording a still image (YES), in step 606, the switches 109, 110, 113, and 114 in FIG. If the still image is not recorded (NO), the process proceeds to step 609 described later. In step 607, still image data is recorded. In step 608, a still image capturing timing signal and preset still image size information are generated. Next, in step 609, input data is stored and encoded. The moving picture data is temporarily stored and MPEG2 compression encoding is performed. Each still image is stored in memory and JPEG compression encoded. The audio data is continuously stored together with the moving image, and after being stored for a predetermined unit time, compression encoding such as Dolby AC3 or MPEG audio encoding is performed. Next, in step 610, the encoded data is packed with element data (elements such as video and audio) and multiplexed by adding an identification header and a time stamp. In step 611, a still image identification signal is recorded in the user data area for each picture of the moving image data. As described above, this is still image identification information (S_PRN described later) encoded in synchronization with the timing. This is the number of the still picture program described for each still picture in the still picture information in Table 3. In step 612, the multiplexed data and the user data are formatted and buffered according to the format of FIG. When a certain amount of data is accumulated in the buffer, it is recorded on a recording medium. Next, in step 613, it is determined whether or not the recording has been completed. If the recording has been completed (YES), the process proceeds to step 614, where the management data (IFO) is formatted according to the format shown in FIG. To record. Next, the process proceeds to step 615 and ends. If NO in step 613, the process returns to step 605.
一方、ステップ603で静止画動画同時記録でない場合(NO)には、ステップ616に進み静止画記録かどうかを判定する。静止画記録の場合にはステップ617において静止画を画素ずらしするか、画素加算をするかを判定する。画素ずらしの場合にはステップ618に進み、スイッチ109、113、127をaに切り替える。画素加算の場合にはステップ619に進みスイッチ109、113、127をbに切り替える。その後ステップ620に進み、静止画データを録画する。次にステップ625に進み入力データの蓄積符号化を行う。次にステップ627においてフォーマット化し記録媒体に記録する。次にステップ614に進む。一方ステップ616において静止画記録でない(NO)の場合、動画記録と判定してステップ621に進む。ステップ621では動画を画素ずらしするか、画素加算するかを判定する画素ずらしの場合にはステップ622に進み、スイッチ110、114をaに切り替える。画素加算の場合にはステップ623に進みスイッチ110、114をbに切り替える。その後ステップ624に進み、動画データを録画する。次にステップ625に進み入力データの蓄積符号化を行う。次にステップ626において、画像、音声の符号化データの多重化を行う。次にステップ627においてフォーマット化し記録媒体に記録する。次にステップ614に進む。 On the other hand, if it is determined in step 603 that simultaneous recording of still images and moving images is not performed (NO), the process proceeds to step 616 to determine whether still images are recorded. In the case of recording a still image, it is determined in step 617 whether the still image is shifted by pixels or whether pixels are added. In the case of pixel shifting, the process proceeds to step 618, and the switches 109, 113, 127 are switched to a. In the case of pixel addition, the process proceeds to step 619 and switches 109, 113, 127 are switched to b. Thereafter, the process proceeds to step 620 to record still image data. Next, in step 625, the input data is stored and encoded. Next, in step 627, it is formatted and recorded on a recording medium. Next, the process proceeds to step 614. On the other hand, if it is not still image recording (NO) in step 616, it is determined that the moving image is recorded and the process proceeds to step 621. In step 621, in the case of pixel shift for determining whether to shift the pixel of the moving image or to add pixels, the process proceeds to step 622, and switches 110 and 114 are switched to a. In the case of pixel addition, the process proceeds to step 623, and switches 110 and 114 are switched to b. Thereafter, the process proceeds to step 624 and video data is recorded. Next, in step 625, the input data is stored and encoded. In step 626, the encoded image and audio data is multiplexed. Next, in step 627, it is formatted and recorded on a recording medium. Next, the process proceeds to step 614.
次に図8のフローチャートを用いて、本発明の再生方法について説明する。まずステップ801において再生のスタートをする。次にステップ802において記録媒体から管理データ(IFO)を読み取り、メモリーに展開する。次にステップ803において、動画像の再生を行う。次にステップ804において高解像度静止画表示ための一時停止をするかどうかを判定する。しない(NO)場合にはステップ803へ戻る。する(YES)の場合にはステップ805において高精細静止画表示可能なピクチャーで一時停止をする。次にステップ806において、一時停止した動画像のピクチャーユーザーデータのS_PRNを読み出す。次にステップ807においてS_PRNに対応する静止画を再生する。次にステップ808においては動画再生が終了かどうかを判定する。終了しない(NO)の場合にはステップ803に戻る。終了する場合(YES)にはステップ809に進み終了する。 Next, the reproducing method of the present invention will be described using the flowchart of FIG. First, in step 801, playback is started. Next, in step 802, management data (IFO) is read from the recording medium and developed in the memory. In step 803, the moving image is reproduced. Next, in step 804, it is determined whether or not to pause for high-resolution still image display. If not (NO), the process returns to step 803. If YES (YES), in step 805, the picture is paused at a picture capable of displaying a high-definition still picture. In step 806, S_PRN of the picture user data of the temporarily stopped moving image is read out. Next, in step 807, a still image corresponding to S_PRN is reproduced. Next, in step 808, it is determined whether or not the moving image reproduction is finished. If NO (NO), the process returns to step 803. When the process ends (YES), the process proceeds to step 809 and ends.
なお、本実施例では、記録媒体を特定していないが、ランダムアクセスできる記録媒体、例えばハードディスクや光ディスクなどであればどんな記録媒体であっても良い。
また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また再生装置は受信装置として使用することも可能である。
In this embodiment, the recording medium is not specified, but any recording medium may be used as long as it is a randomly accessible recording medium such as a hard disk or an optical disk.
In addition, data can be transmitted via any transmission medium such as communication and broadcasting without recording data on the recording medium. In that case, the recording apparatus can also be used as a transmission apparatus. The playback device can also be used as a receiving device.
また、本発明の信号データを記録した記録媒体は、図15、図16、表1、表2、表3、表4、表6に示したフォーマット構造が記録されていると同時に、動画データのなかに静止画を特定できる識別信号を記録してあり、動画と静止画の相互の関連付けができるデータ構造をもっているという媒体特有の効果があり、(1)受光素子からの2つの信号を用いて、双方を異なる画素位置のデータとして画像信号を合成し、1つの信号の画素数よりも大きい画素数の静止画、もしくは動画像を形成するモード、(2)受光素子からの2つの信号を用いて、双方を同じ画素位置のデータとして画像信号を合成するにあたり、一方に減光用のNDフィルタを配置し輝度レンジを異ならせて合成し、1つの信号の画像よりも広ダイナミックレンジの静止画像、もしくは動画像を形成するモード、(3)受光素子からの1つの信号を動画像として形成し、もうひとつを静止画像として形成するモード、の3モードの機能を持つようにしたので、2つの撮像素子からの画像データを画素をずらして使用するモード、2つの撮像素子からの画像データを画素をずらさずに使用し、片方をNDフィルタにより広ダイナミックレンジを得るモード、2つの撮像素子からの画像データを独立して動画と静止画同時撮影するモードの3モードを選択的に使用することができ、動画だけ、あるいは静止画だけを撮影しているモードのときにも2つの撮像素子を有効に活用できるシステムを好適に実現することができる。 The recording medium on which the signal data of the present invention is recorded has the format structure shown in FIG. 15, FIG. 16, Table 1, Table 2, Table 3, Table 4, and Table 6 recorded at the same time. There is an effect peculiar to the medium that an identification signal that can identify a still image is recorded and has a data structure that can correlate a moving image and a still image. (1) Using two signals from a light receiving element , A mode in which both are combined with image signals as data of different pixel positions to form a still image or moving image with a number of pixels larger than the number of pixels of one signal, and (2) two signals from the light receiving element are used. Therefore, when synthesizing the image signal with both of them at the same pixel position, an ND filter for dimming is arranged on one side and synthesized with different luminance ranges, and a static signal having a wider dynamic range than the image of one signal. Since it has a function of three modes, a mode for forming an image or a moving image, and (3) a mode in which one signal from the light receiving element is formed as a moving image and the other is formed as a still image. A mode in which image data from one image sensor is used while shifting pixels, a mode in which image data from two image sensors is used without shifting pixels, and a wide dynamic range is obtained by using an ND filter, and two image sensors are used. Can be selectively used in the video and still image simultaneous shooting mode, and the two image sensors can be used even in the video or still image only mode. A system that can be used effectively can be suitably realized.
また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身を含むものとする。 In addition, the definition of the medium includes not only a narrowly-defined medium that can record data, but also an electromagnetic wave and light for transmitting signal data. In addition, the information recorded on the recording medium includes data itself such as an electronic file in a state where the information is not recorded.
101 レンズ
102 光路分離機
103 オーディオ入力器
104 受光素子
105 受光素子
106 A/D変換器
107 A/D変換器
108 A/D変換器
109 スイッチ
110 スイッチ
111 画素ずらし画像生成器
112 画素加算画像生成器
113 スイッチ
114 スイッチ
115 U/I
116 CPU
117 静止画撮像タイミング信号発生器
118 音声符号化器
119 静止画符号化器
120 動画符号化器
121 管理データメモリ
122 多重化器
123 記録媒体書き込み器
124 ディスクフォーマット器
125 記録媒体
126 スイッチ
127 NDフィルタ
DESCRIPTION OF SYMBOLS 101 Lens 102 Optical path separator 103 Audio input device 104 Light receiving element 105 Light receiving element 106 A / D converter 107 A / D converter 108 A / D converter 109 Switch 110 Switch 111 Pixel shift image generator 112 Pixel addition image generator 113 Switch 114 Switch 115 U / I
116 CPU
117 Still image capturing timing signal generator 118 Audio encoder 119 Still image encoder 120 Movie encoder 121 Management data memory 122 Multiplexer 123 Recording medium writer 124 Disk formatter 125 Recording medium 126 Switch 127 ND filter
Claims (5)
A step of separating the light beam incident from the imaging lens into two parts, receiving each of the separated two light beams, inputting an image signal, and recording the image signal as a moving image on a recording medium And a still image signal recording step for recording the image signal as a still image on a recording medium, and using both signals from the light receiving element as data of different pixel positions. Using the first mode for synthesizing image signals and forming a still image or moving image with a number of pixels larger than the number of pixels of one signal and two signals from the light receiving element, both are set at the same pixel position. When synthesizing image signals as data, ND filters for dimming are arranged on one side and synthesized with different luminance ranges. By a three-mode function, a second mode for forming a range still image or moving image, and a third mode for forming one signal from the light receiving element as a moving image and forming the other as a still image An audio video signal reproducing method comprising a step of reproducing a moving image and a still image from a recording medium on which the generated moving image and still image are recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005007646A JP4320738B2 (en) | 2005-01-14 | 2005-01-14 | Audio video signal recording apparatus and audio video signal recording method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005007646A JP4320738B2 (en) | 2005-01-14 | 2005-01-14 | Audio video signal recording apparatus and audio video signal recording method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006197337A true JP2006197337A (en) | 2006-07-27 |
JP4320738B2 JP4320738B2 (en) | 2009-08-26 |
Family
ID=36803036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005007646A Active JP4320738B2 (en) | 2005-01-14 | 2005-01-14 | Audio video signal recording apparatus and audio video signal recording method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4320738B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244672A (en) * | 2007-03-26 | 2008-10-09 | Fujifilm Corp | Imaging device and image processing method |
JP2010521102A (en) * | 2007-03-09 | 2010-06-17 | イーストマン コダック カンパニー | Operation of double lens camera to expand image |
-
2005
- 2005-01-14 JP JP2005007646A patent/JP4320738B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010521102A (en) * | 2007-03-09 | 2010-06-17 | イーストマン コダック カンパニー | Operation of double lens camera to expand image |
JP2008244672A (en) * | 2007-03-26 | 2008-10-09 | Fujifilm Corp | Imaging device and image processing method |
JP4741536B2 (en) * | 2007-03-26 | 2011-08-03 | 富士フイルム株式会社 | Imaging apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4320738B2 (en) | 2009-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3912536B2 (en) | RECORDING METHOD, RECORDING DEVICE, RECORDING MEDIUM, IMAGING DEVICE, AND IMAGING METHOD | |
US6466732B1 (en) | Information recording system and information recording method | |
US6643453B1 (en) | Motion picture recording/reproduction apparatus | |
JP2009225361A (en) | Recording device and recording method, and editing device and editing method | |
JP4661543B2 (en) | Information recording apparatus, information reproducing apparatus, information recording program, and information reproducing program | |
US7650062B2 (en) | Information recording apparatus, information reproducing apparatus, and related computer programs | |
JP4320738B2 (en) | Audio video signal recording apparatus and audio video signal recording method | |
JP2004015580A (en) | Recorder | |
KR19980080442A (en) | Digital signal reproduction method and device | |
JP3604186B2 (en) | Recording method and recording method of recording medium | |
JP4573166B2 (en) | Information recording apparatus, information reproducing apparatus, information recording method, and information reproducing method | |
JP4305392B2 (en) | Audio video signal recording apparatus and audio video signal recording method | |
KR20070055961A (en) | Video recording apparatus and method, video transmission method, program for video recording method, and storage medium having stored program for video recording method | |
JP4419142B2 (en) | Audio video signal recording apparatus and audio video signal recording method | |
JP2003052040A (en) | Mpeg data reproduction equipment | |
JP4399803B2 (en) | Information recording apparatus, information reproducing apparatus, information recording method, and information reproducing method | |
JP3196764B2 (en) | Moving image recording / playback method | |
JP4164696B2 (en) | Imaging apparatus and imaging method | |
JP3381724B2 (en) | Data recording method | |
JP3381727B2 (en) | Data playback device | |
JP3381728B2 (en) | recoding media | |
JP2008219921A (en) | Recording apparatus, recording method, image pickup apparatus, and image pickup method | |
JP2008092503A (en) | Imaging apparatus | |
JP2003052012A (en) | Mpeg data recording system, mpeg data recording medium, and mpeg data generator | |
JP2007116462A (en) | Image processor and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090521 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4320738 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |