JP4205574B2 - 画像処理装置及びその制御方法 - Google Patents

画像処理装置及びその制御方法 Download PDF

Info

Publication number
JP4205574B2
JP4205574B2 JP2003501194A JP2003501194A JP4205574B2 JP 4205574 B2 JP4205574 B2 JP 4205574B2 JP 2003501194 A JP2003501194 A JP 2003501194A JP 2003501194 A JP2003501194 A JP 2003501194A JP 4205574 B2 JP4205574 B2 JP 4205574B2
Authority
JP
Japan
Prior art keywords
information
image processing
processing apparatus
storage
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003501194A
Other languages
English (en)
Other versions
JP2004522355A (ja
Inventor
洋 東條
英智 相馬
正紀 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Canon Inc
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Canon Inc
Publication of JP2004522355A publication Critical patent/JP2004522355A/ja
Application granted granted Critical
Publication of JP4205574B2 publication Critical patent/JP4205574B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525—Magneto-optical [MO] discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/61—Solid state media wherein solid state memory is used for storing A/V content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/328—Table of contents on a tape [TTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像情報とそれに対応する付帯情報とを格納する画像処理装置及びその制御方法に関する。特に、画像情報として動画像データを、付帯情報として撮影装置の状態等を表す情報を記録媒体に格納するのに好適な画像処理装置及びその制御方法に関する。
従来より、撮影データとともに撮影時における機器の状態などを表す付帯情報を格納することや、その付帯情報を符号化・暗号化する方式が、特許文献１、特許文献２等によって提案されている。これらの提案では、付帯情報を付与・格納するために、付帯情報を種別などの単位でまとめておき、その単位で付帯情報を付与・格納するための情報構造を作成している。
様々な機器や方式で付帯情報を格納することを考えた場合、同一の項目の付帯情報であっても、機器や制御方式ごとに適切な、様々な表現形式や符号化・暗号化の方式が実際には存在することが一般的である。しかしながら、上述した従来技術による付帯情報の格納においては、１つの表現形式や符号化・暗号化方式にしか対応できない。このように、１つの形式のみしか許さない方式においては、その単一の構造や表現形式だけに付帯情報を対応させれば済むという利点があるものの、機器や制御方式の各々の特徴となる点が失われてしまう場合があった。
特開平０６−３１８３７３号公報 特開平０７−３０３２３９号公報
本発明は、上記の課題に鑑みてなされたものであり、広汎な機器や制御方式で最低限利用可能な形式の付帯情報を確実に利用可能とするとともに、個々の機器や制御方式の特徴を生かすことのできる付帯情報も利用可能とすることを目的とする。
上記の目的を達成するための本発明の一態様による画像処理装置は、
画像情報とこれに付帯する付帯情報項目を格納する画像処理装置であって、
同一の付帯情報項目に対して複数の記述形式が存在する場合に、付帯情報項目毎に該複数の記述形式に優先度を予め定めておく決定手段と、
前記画像処理装置において利用可能な記述形式の中で、前記優先度に従って記録時に使用する記述形式を選択する選択手段と、
選択された記述形式で付帯情報項目を画像情報と対応付けて記録する記録手段とを備え、
前記選択手段は、前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式を複数選択する。
また、上記の目的を達成するための本発明の他の態様によれば、
画像情報とこれに付帯する付帯情報項目を格納する画像処理装置の制御方法であって、
決定手段が、同一の付帯情報項目に対して複数の記述形式が存在する場合に、付帯情報項目毎に該複数の記述形式に優先度を予め定めておく決定工程と、
選択手段が、前記画像処理装置において利用可能な記述形式の中で、前記優先度に従って記録時に使用する記述形式を選択する選択工程と、
記録手段が、選択された記述形式で付帯情報項目を画像情報と対応付けて記録する記録工程とを備え、
前記選択工程では、前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式を複数選択する、画像処理装置の制御方法が提供される。
本発明の他の特徴及び利点は添付の図面を参照してなされる以下の説明により明らかとなろう。なお、各図を通して、同一の参照符号は同一もしくは類似の部分を示す。
以上説明したように、本発明によれば、広汎な機器や制御方式で最低限利用可能な形式の付帯情報を確実に利用可能とするとともに、個々の機器や制御方式の特徴を生かすことのできる付帯情報も利用可能にできる。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
以下に説明する実施形態では、動画像と共に各種センサの情報やユーザによる操作の情報を付帯情報として同時に格納する動画撮像装置の例を述べる。
本実施形態では、動画像撮像装置において撮影時の機器の状態などの付帯情報を符号化・暗号化して画像情報とともに格納する際、複数の表現形式や符号化・暗号化方式によって付帯情報を保存・格納することを許容する。ここで、その複数の表現形式や符号化・暗号化方式に対して優先度を設けることにより、従来どおり、最低対応しておけばよい表現形式や符号化・暗号化方式での付帯情報の格納を保証すると同時に、各機器や制御方式で特徴を出せる表現形式や符号化・暗号化方式による付帯情報を併せて格納することを可能とする。また、その付帯情報を保存・格納する際に、付帯情報に応じて格納位置などを変更可能とし、各利用形態や制御方式に有利な格納位置に付帯情報を格納可能とする。
図１は本実施形態における撮像装置の構成を示すブロック図である。図１において、１１はレンズ部であり、被写体距離を調整するフォーカスレンズと焦点距離を調整するズームレンズとを含み、撮像素子上に被写体像を結像させる。１２は光量を調節する絞り、１３は入力した光を電気信号に変換するＣＣＤからなる撮像素子、１４はサンプルホールドおよびゲイン調整を行うサンプルホールド・ＡＧＣ回路である。
１５はＡ／Ｄ変換部であり、サンプルホールド・ＡＧＣ回路１４よりのアナログ信号に対してアナログデジタル変換（Ａ／Ｄ変換）を行う。また、１６は信号を処理して映像信号を生成する映像信号処理部である。１８はノイズリダクション部（ＮＲ）であり、フィールドメモリを有し、映像信号のノイズを除去する。１７は電子ズーム部であり、フィールドメモリを有し、映像の切り出し、拡大および補間処理を行う。
１９はレンズの位置を検出するレンズ位置検出部、２０はレンズを駆動するレンズ駆動部である。２１はシステム制御部であり、本撮像装置の全体を制御する。図２はシステム制御部２１の構成を示すブロック図である。システム制御部２１はＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、Ｉ／Ｏインターフェース３４、およびバス３５を有する。ＲＯＭ３２には、ＣＰＵ３１によって、後述のフローチャートによって説明される処理を実現するための制御プログラムや、各種テーブル値（図６で後述する優先度テーブルや、図７及び図８で後述するグループテーブル）などが格納されている。
図１に戻り、２２はユーザ操作部であり、AEMode（自動露光モード）などの初期設定やズーム動作等、撮像装置の各種制御や各種設定及び各種操作を行うためのユーザインターフェースを備える。２３はその他のセンサを示しており、撮像装置の状態を知るために必要なセンサや、ＧＰＳや温度計等のような撮像装置が置かれた環境状態を検知するためのセンサを含む。
２４は他の機器であり、フラッシュライト、交換レンズなどの撮像装置のアクセサリや、ＩＥＥＥ１３９４、ＵＳＢなどの通信手段２５によって接続された外部コンピュータ（ＰＣ）、他の動画撮像機器、ネットワーク上の機器などが含まれる。
２６は、映像データをMPEGの形式に符号化するMPEG-CODECである。２７は記録部であり、記録媒体２８に情報を記録するドライブなどで構成される。２８は記録媒体であり、例えば光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性の半導体メモリ（フラッシュメモリ等）などである。
以上の構成を備えた本実施形態の撮像装置の動作について説明する。レンズ部１１より受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ回路１４を介してＡ／Ｄ変換部１５によりＡ／Ｄ変換されてデジタル信号となり、映像信号処理部１６に入力される。映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正などの処理が施されて映像信号が生成され、ノイズリダクション部１８に出力される。
ノイズリダクション部１８は、システム制御部２１からの制御信号により制御され、入力された映像信号のノイズを除去する。ノイズが除去された映像信号は、電子ズーム部１７に出力される。電子ズーム部１７は、出力映像が入力映像に対してシステム制御部２１からの制御信号に基づいた倍率となるように、フィールドメモリに展開した画像より切り出しを行い、拡大および補間処理を行ってフレーム画像データとしてMPEG-CODEC２６へ出力する。MPEG-CODEC２６では、入力されたフレーム画像データの符号化を行う。このとき、MPEG-CODEC２６は、システム制御部２１から入力されるメタデータ（後述）が符号化されたフレーム画像データと共に格納されるようにデータを生成し、これを記録部２７に出力する。なお、このような撮像装置では、ノイズリダクション部１８と電子ズーム部１７の適用順番が逆に行われる場合もある。すなわち、映像信号処理部１６の処理結果を電子ズーム部１７で処理し、その電子ズーム部１７の処理結果をノイズリダクション部１８で処理し、そのノイズリダクション部１８の処理結果をMPEG-CODEC２６で処理する形態もある。この方式も本実施形態も、一般的な方式であり、これ以外の構成も考えられるが、このような処理の手順がいかなるものであっても、本発明に含まれるものである。
メタデータの格納方法については後述するが、メタデータとは、システム制御部２１が、映像信号処理部１６、ノイズリダクション部１８、電子ズーム部１７、レンズ駆動部２０を制御するときに使用したアパーチャ補正、ガンマ補正、ホワイトバランス補正に関する情報や、レンズ位置検出部１９、及び、その他のセンサ２３のセンサから得た情報、ユーザ操作部２２から得たユーザによる初期設定に関する情報（AEModeの種別など）、ユーザ操作部２２から得たユーザの操作に関する情報、或いは、通信手段２５を介して他の機器２４から得た情報などの各種付帯情報を含むものである。
＜１．メタデータ格納処理＞
図３は、動画像とメタデータの記録時のシステム制御部２１による制御概要を示したフローチャートである。まず、ステップＳ３１において、ユーザがユーザ操作部２２を介して撮像装置の設定を行ったかどうかを判定する。撮像装置の設定とは、例えば、AEModeの設定などである。撮像装置の設定が行われたときは、ステップＳ３２において、当該撮像装置の設定を変更すると同時にＲＡＭ３３などにその設定情報を記憶する。変更された撮像装置の設定情報は、後述のステップＳ３７にてメタデータとしてMPEG-CODEC２６に送られることになる。次にステップＳ３３において、録画ボタンがＯＮされたかどうかをチェックする。ＯＮされていなければ、待機状態であり、ステップＳ３１へ戻る。ＯＮされたならば、ステップＳ３４へ進み、当該撮像装置を録画状態にし、撮像を開始する。このときの録画開始時刻は、後述のステップＳ３７にてメタデータとしてMPEG-CODEC２６に送られることになる。また、撮像中の撮像装置内の変化、例えば、オートフォーカス時のフォーカスの変化、また、撮像装置の置かれた環境の変化、例えばＧＰＳの情報が、後述のステップＳ３７でシステム制御部２１によって収集され、MPEG-CODEC２６へ順次送られることになる。
次に、ステップＳ３５において、ユーザによって撮像装置の操作が行われたかをチェックする。撮像装置の操作とは例えば、ズームボタンのＯＮ／ＯＦＦ、パン、などである。撮像装置の操作が行われた場合はステップＳ３６に進み、システム制御２１がレンズ位置検出部１９やその他のセンサ２３の情報をもとにレンズ駆動部２０などを駆動して撮像装置を制御する。例えばズームが指示されたときは、ズームボタンが押された区間だけ、レンズ駆動部２０によってレンズ１１のズームレンズを動かし、ズームを行う。このときのズームボタンのＯＮ／ＯＦＦや焦点距離などのセンサ情報は、次のステップＳ３７でメタデータとして収集され、MPEG-CODEC２６に送られることになる。
ステップＳ３７においては、図９によって後述するようにメタデータ生成のために情報を収集し、メタデータを生成し、MPEG-CODEC２６へメタデータを送る。MPEG-CODEC２６では、電子ズーム部１７より送られてくる映像データと、システム制御部２１より送られてくるメタデータとを後述する方法（たとえば図４において後述する方法）で結合し、記録部２７へ出力する。そして、記録部２７は、MPEG-CODEC２６より送られてきたデータを記憶媒体２８に記録する。次にステップＳ３８において、録画ボタンがＯＦＦされたかどうかをチェックする。ＯＦＦされていなければ、撮影状態のままであるので、ステップＳ３４へ戻って上述の動作を繰り返す。ＯＦＦされれていれば、ステップＳ３１へ戻って待機状態となる。
図４は、メタデータ格納方法の概念図である。図４において、４０１は動画像を構成するフレーム列である。４０２はフレーム１枚のデータ構成を表している。１枚のフレーム４０２は、画像データのサイズ、符号化に関する情報、フレームのタイムコードなどが格納される管理情報領域４０３と、画像データそのものが入る画像データ領域４０４から構成される。管理情報領域４０３の斜線で図示した部分は未使用部分であり、本実施形態ではこの未使用部分にメタデータ格納領域４０５が設けられる。また、５０１はフレーム４０２に関連するメタデータである。そして、メタデータ格納領域４０５にメタデータ５０１が格納される。具体的には、例えば、MPEG-2ストリームであれば、ピクチャヘッダのユーザデータ領域やＧＯＰ（Group Of Picture）ヘッダのユーザデータ領域に格納することが可能である。
図５は、メタデータのデータ構造の一例を示した図である。メタデータ５０１には、メタデータ項目によって取得の容易さ、使用する際の頻度、などが異なる複数種類のデータが含まれる。よって、取得が容易なもの、使用頻度の高いものほど、データの格納、及び、読み出しが容易である方が望ましい。逆に、比較的まれにしか情報が所得できないもの、比較的まれにしか使用されないものなどは、必要な分だけ格納されていればよい。図５に示されるデータ構造は、この条件を満足するものの一例である。
図５に示したように、メタデータ５０１は、メタデータ管理情報５０２、グループ１に属するメタデータの格納領域５０３、グループ２に属するメタデータの格納領域５０４から構成される。メタデータ管理情報５０２は、メタデータの総サイズ、グループ２へのオフセットからなる。グループ１に属するメタデータの格納領域５０３は、後述する方法によってグループ１に分類されたメタデータ項目を、予め決められた順番に従って、全ての項目を並べて記録する。グループ２に属するメタデータの格納領域５０４は、後述する方法によってグループ２に分類されたメタデータ項目を、メタデータのサイズやタイプなどの情報を格納した管理情報とメタデータとを一組として必要な数だけ並べて格納する。なお、機器の都合によって、予定されたメタデータが取得できない場合もある。その場合には、例えば値がないことを意味する情報を格納する等の処置がなされる。ただし、どのような処置が適切かはメタデータの特性によって異なる場合があり、本願ではこの点は特に規定しない。
よって、グループ１に属するメタデータの格納領域５０３は、データサイズ及び順番が固定されているため、記憶媒体上に一括して読み書きすることが可能である。一方、グループ２に属するメタデータの格納領域５０４は、メタデータ項目ごとひとつひとつに管理情報を作成して書き込み、メタデータ項目ごとひとつひとつの管理情報を解釈しながら読み出す必要がある。よって、グループ２に属するメタデータの格納領域５０４に比べてグループ１に属するメタデータの格納領域５０３の方が、データの読み書きが容易に行うことが可能な構造となっている。
次に、メタデータの記述形式について述べる。単一の情報項目に対して記述形式が複数存在する場合がある。以下の表１〜３において、記述形式を複数持つメタデータの例として、Ｆｏｃｕｓ，Ｚｏｏｍ，Ｐａｎのメタデータの記述形式を示す。
Figure 0004205574
Figure 0004205574
Figure 0004205574
まず、センサの違いによって、値の単位などの形式が異なることがある。例えば、表１において、Focus-Relativeは主にレンズ位置検出部１９がレンズ部１１のフォーカスレンズの可動範囲に対する相対位置を検出する場合の記述形式であり、Focus-Absoluteは主に被写体距離を直接計測するセンサが搭載されたときに対応する記述形式である。
また、値を別な形式に変換できる場合もある。例えば、表２において、Zoom-Relativeは主にレンズ位置検出部１９がレンズ部１１のズームレンズの可動範囲に対する相対位置を検出する場合の記述形式であり、Zoom-Absoluteは主にレンズ位置検出部１９が焦点距離を検出する場合の記述形式であり、Zoom-Normalizedは主にレンズ位置検出部１９が焦点距離を検出しその値を３５mmフィルムのカメラに換算した値を記述する形式である。
また、センサの性能や、値を取得するタイミングなどによって、取得できる値の精度などが異なる場合もある。例えば、表３において、Pan-1はパンの方向のみが取得できた場合の形式であり、Pan-2はパンのスピードが大まかに取得できた場合の形式であり、Pan-3はパンのスピードが厳密に取得できた場合の形式である。
次に、単一のメタデータごとに優先度を決定する。図６は、複数の記述形式をもつメタデータの優先度付けの一例を示す図である。ここで、例えば、優先度１は優先度２よりも優先度が高いものとする。優先度は、各データ項目毎に（たとえばフォーカス、ズーム、パン毎に）設定される。また、優先度を決定する基準には様々なものが考えられる。例えば、広く使われているセンサの出力形式に近い形式は優先度を高くしておき、センサが取得した値を変換しなければならない形式は優先度を低くしておく、或いは厳密な精度をもつ形式の優先度を低くしておく、など情報の取得の容易さで決める方法がある。また、使用頻度の高い形式の優先度を高くしておくという方法もある。
次に、メタデータの格納領域を決定するために、メタデータ項目のグループ分けを行う。グループ分けの方法としては、様々なものがある。まず、単一のメタデータ項目ごとに情報の取得の容易さや使用頻度によってどちらにいれるかを決める方法がある。取得の容易な、または、使用頻度の高いメタデータ項目を第１グループとし、取得が比較的困難な、または、使用頻度が比較的低いメタデータ項目を第２グループとする。図７の例では、ＰａｎはDirectionとSpeedで一組の情報となり使用頻度が高いのでPan-1とPan-2をグループ１とし、厳密なSpeedの情報であるPan-3は、必ずしも必要でないのでグループ２とする。
或いは、優先度によってグループ分けを決定してもよい。図８がその例である。すなわち、優先度１をもつメタデータ項目をグループ１とし、それ以外をグループ２とする。
以上の、図６〜図８に示される各テーブルの規則に従って作成されたプログラムをシステム制御部２１のＲＯＭ３２もしくはＲＡＭ３３に格納するようにする。もしくはこれらのテーブルを、システム制御部２１のＲＯＭ３２、に格納し、これを参照してシステム制御部２１が処理を行うようにする。
次に、メタデータ格納処理について説明する。
まず、図９を用いて、上記ステップＳ３７で実行されるメタデータ格納処理の概要を述べる。ステップＳ９０において、システム制御部２１は、各種センサに問い合わせるなどして、メタデータを取得する。次にステップＳ９１において、変換式などを用いて形式を変換できるメタデータがあれば、それを変換をする。ただし、必ずしも本処理（変換処理）を行う必要はなく、本処理はスキップしても構わない。次に、ステップＳ９２において、メタデータをMPEG-CODEC２６に送ることにより記憶媒体２８に画像データとともにメタデータを格納する。以下、ステップＳ９０からＳ９２のそれぞれにおける処理の詳細について述べる。
まず、ステップＳ９０のメタデータの取得処理についての詳細を、図１０を用いて説明する。ステップＳ１００において、Ｎに１を設定する。次に、ステップＳ１０１において、システム制御部２１がセンサの値の取得を続行できるかどうかを判定する。この判定条件としては、例えば次の２つの制約条件が挙げられる。すなわち、
(1)取得する時間が残っているか？
(2)一時的に保持しておくメモリに余裕があるか？
である。
(1)の制約について説明すると、動画撮影時にフレーム単位にメタデータをリアルタイムに格納するためには、メタデータの取得から格納までの時間に制限がある。ＮＴＳＣであれば、約３０フレーム毎秒であるので、約１/３０秒未満の処理時間という制限がある。(2)の制約は、メタデータを一度に保持しておくメモリの容量に制約がある場合である。
本実施形態では、以上の(1)、(2)の制約条件を満たすとき、更に他のセンサの値を取得することができるとしてステップＳ１０２に処理を進める。ステップＳ１０２において、システム制御部２１は、優先度Ｎの形式に対応するセンサへ問い合わせを行い、情報を取得する。
次にステップＳ１０３において、他に優先度Ｎに対応するセンサが存在するかどうかを判定する。存在すれば、ステップＳ１０１からステップＳ１０２の処理を繰り返す。存在しなければ、ステップＳ１０４に進み、次の優先度でセンサからの情報の取得を行なうべくＮをインクリメントする。ステップＳ１０５において、優先度Ｎの形式をもつメタデータ項目が存在するかどうかを判定し、存在すれば、上記ステップＳ１０１からステップＳ１０４までの処理を繰り返す。
ステップＳ１０１において、制約条件(1)、(2)のいずれかが満足されないと判定された場合、或いは、ステップＳ１０５において優先度Ｎの形式をもつメタデータ項目が存在しないと判定された場合は、本処理を終える。なお、ここでは説明を簡単にするために、センサから得られたメタデータについてのみ述べているが、ユーザ操作部２２や他の機器２４からメタデータを得る場合なども、同様に考えればよい。
以上のような処理により、制約条件が存在する場合であっても、優先度の高いメタデータ項目から優先的に、情報の取得が行われる。
次に、ステップＳ９１のメタデータの記述形式の変換処理についての詳細を、図１１を用いて説明する。この処理では、上記メタデータ取得処理によって取得されたデータ（センサからの出力値）の記述形式の変換を行なう。まず、ステップＳ１１０において、Ｎに１を設定する。次に、ステップＳ１１１において、データ形式（記述形式）の変換を続行できるかどうかを判定する。判定条件としては、例えば、ステップＳ９０のメタデータの取得処理の場合（ステップＳ１０１）と同様に、次の２つの条件、
(1)変換する時間が残っているか？
(2)一時的に保持しておくメモリに余裕があるか？
が挙げられる。もちろん他の条件を用いてもよい。
以上の(1)、(2)の制約条件を満足する場合は次のステップＳ１１２へ進む。次にステップＳ１１２において、今注目しているメタデータが優先度Ｎの形式に変換することのできるメタデータ項目であるかを判定する。この場合の判定条件としては例えば、
(3)システム制御部２１に変換に必要な演算能力があるか？
(4)変換の元となる形式の値が設定されているか？
が挙げられる。
(3)については、システム制御部２１のＣＰＵ３１の演算能力に制約がある場合である。(4)については、センサは、問い合わせるタイミングによっては情報を検出できないために値が設定されないことがある、という制約がある場合である。
本実施形態では、(3)、(4)の制約条件を満たすとき、優先度Ｎの形式への変換が可能であるとしてステップＳ１１３へ進む。また、条件が満足されない場合は、ステップＳ１１３をスキップしてステップＳ１１４へ進む。ステップＳ１１３では、当該データの優先度Ｎの形式（記述形式）への変換が行われる。次に、ステップＳ１１４において、他に優先度Ｎの記述形式への変換が可能なメタデータ項目が取得されているかどうかを判定する。取得されていれば、ステップＳ１１１からステップＳ１１３の処理を繰り返す。当該優先度における他の記述形式への変換が可能なデータが取得されていなければ、ステップＳ１１５に進み、Ｎをインクリメントする。
次にステップＳ１１６において、優先度Ｎの形式をもつメタデータ項目が存在するかどうかを判定し、存在すれば、ステップＳ１１１からステップＳ１１５までの処理を繰り返す。ステップＳ１１１において制約条件(1)、(2)などを満たさないとき、或いは、ステップＳ１１６において優先度Ｎの形式をもつメタデータ項目が存在しないときは、本処理を終える。なお、ここでは説明を簡単にするために、センサから得られたメタデータについてのみ述べているが、ユーザ操作部２２や他の機器２４からメタデータを得る場合なども、同様に考えればよい。
以上のような処理により、制約条件が存在する場合であっても、優先度の高いメタデータ項目から優先的に、形式の変換が行われる。
次に、ステップＳ９２のメタデータの格納処理についての詳細を図１２を用いて説明する。まず、ステップＳ１２０において、Ｎに１を設定する。次にステップＳ１２１において、優先度Ｎの記述形式のメタデータ項目がステップＳ９０のメタデータ取得処理及びステップＳ９１のメタデータ変換処理の結果、存在しているかどうかを判定する。この判定の結果、存在すれば、次のステップＳ１２２に進み、当該記述形式によるメタデータ項目を採用することに決める。
次に、ステップＳ１２３において、更にメタデータの格納が可能であるかどうかを判定する。この判定条件としては、例えば、
(5)あらかじめMPEG CODEC26などから入手しておいた記録に必要な時間に対し、メタデータを格納するのに必要な時間が残っているか？
(6) あらかじめMPEG CODEC26などから入手しておいた記録可能なメタデータ量に対し、一度に格納できるメタデータ量に余裕があるか？
が挙げられる。
(5)は、記憶媒体にデータを格納するには所定の時間が必要であることによる制約である。また、(6)については、一度に格納できるメタデータ量に制限がある場合である。このように予めメタデータ量の制限を越えることがわかっている場合には、メタデータの取得時（ステップＳ９０）に、センサの値を取得しないようにしてもよい。
本実施形態では、上記の(5)及び(6)の制約条件を満足する場合に、更にメタデータを格納することが可能であるとしてステップＳ１２４に進む。ステップＳ１２４では、上記ステップＳ９０のメタデータ取得処理及びステップＳ９１のメタデータ変換処理の結果として、メタデータに採用すべき優先度Ｎの形式のメタデータ項目が残っているかどうかを判定する。存在すれば、ステップＳ１２２からステップＳ１２３を繰り返す。存在していなければ、ステップＳ１２５でＮをインクリメントし、ステップＳ１２１からステップＳ１２４を繰り返す。
また、ステップＳ１２１において優先度Ｎの形式のメタデータ項目が存在しないとき、或いは、ステップＳ１２３において、(5)，(6)の制約条件を満たさないときはステップＳ１２６へ進む。ステップＳ１２６では、上述のステップＳ１２２において、メタデータとして採用するとされたデータ項目が、システム制御部２１からMPEG-CODEC２６に送られる。MPEG-CODEC２６は、図７或いは図８に示した如く設定されたグループ分けに従って、システム制御部２１より受信したメタデータを図５の形式に従って管理情報領域４０３に取り込み、記録部２７にデータ出力する。記録部２７はMPEG-CODEC２６より受信したデータを記憶媒体２８上に記録する。
以上のような処理により、制約条件が存在する場合であっても、優先度の高いメタデータ項目から優先的に、データの格納が行われる。
＜２．メタデータ活用処理＞
次に、上記の如く格納されたメタデータの活用について説明する。説明を簡単にするために、図１３に示した３つの撮像装置（Ａ〜Ｃ）がある場合を説明する。また、メタデータ項目としてＰａｎを取り上げて説明するものとし、この３つの撮像装置（Ａ〜Ｃ）は図６のテーブルの規則にしたがってメタデータを格納しているものとする。図１３に示されるように、撮像装置Ａは、Ｐａｎについては優先度１のPan-1の記述形式のみを格納できる。撮像装置Ｂは、Ｐａｎについては、優先度２までの記述形式、Pan-1,Pan-2の形式を格納できる。更に撮像装置Ｃは、Ｐａｎについては優先度３、すなわちPan-1，Pan-2，Pan-3の記述形式で格納できるものとする。
このとき、各撮像装置のデータを利用できる装置において、フレームをＰａｎの情報で分類し、出力するような場合は、次のような動作となる。撮像装置Ａ，Ｂ，Ｃの全データに対して分類を行う場合は、優先度１のPan-1の記述形式で行う（図１３の１３０１）。こうすることによりＰａｎの方向での分類結果が出力される。よって、ユーザは撮像装置Ａ〜Ｃのどのデータであっても、必ず、優先度１の形式で分類結果を得ることができる。このようにして、単一のビデオ編集装置などで、異なる複数の撮像装置のデータを統一的に扱えるようになる。
次に、撮像装置Ｂ，Ｃの全データに対して分類を行うときは、優先度１のPan-1と優先度２のPan-2の記述形式で分類を行う（図１３の１３０２）。Ｐａｎの方向による分類結果とＰａｎのSpeedによる大まかな分類結果が出力される。
更に、撮像装置Ｃのみのデータに対して分類を行うときは、全ての形式を扱うことが可能なので（図１３の１３０３）、優先度１のPan-1の形式と優先度３のPan-3の形式で分類を行う。この結果、Panの方向とPanの方向による分類結果とSpeedによる詳細な分類結果が出力される。
以上のように、ユーザは撮像装置の能力に応じて、常に、最も精度の高い形式での分類結果を得ることができる。
なお、上記実施形態においては、全てのメタデータはシステム制御部２１を経由しているが、必ずしもこれに限ったものではない。
また、上記実施形態においては、MPEG-CODEC２６においてメタデータを受け取り、画像フレームデータの管理情報領域への組み込みを行なうが、これに限ったものではない。例えば、記録部２７でメタデータを受け取り、映像データ記録後にフレームとの関係を示す情報と共にこのメタデータをまとめて記録するなどの方法がある。
なお、上記実施形態においては、メタデータをフレーム単位に格納しているが、これは一例であり、例えば動画ファイルのフッタ領域に、映像データ中のフレームとの関係を示す情報と共にまとめて格納してもよい。
なお、上記実施形態においては、各グループに属するメタデータを図５の形式で格納したが、アクセスが比較的容易である場所と、比較的難しい場所に分けてもよい。例えば、メタデータを上記の動画ファイルのフッタ領域に格納して記憶媒体に記録する場合は、フッタ領域内でグループごとにまとめて格納し、グループ１に属するメタデータのみを、ディスクの内周部に格納しておく、などの方法もある。
なお、上記実施形態においては、グループ分けは２つとしたが、格納のしやすさや利用頻度などに応じて、または、格納領域の特性などに応じて、３つ以上のグループに分けてももちろん構わない。
以上説明したように本実施形態によれば、どの動画撮像装置で撮像されたデータであっても、優先度の高い記述形式のメタデータ項目が優先的に格納されるので、優先度の高い形式での検索や分類を確実に行うことが可能となる。
また、検索又は分類装置を作成した場合に、優先度は低いが高精度の記述形式のメタデータ項目を利用できるようにすることで、より高精度もしくはより強力な機能を有する検索や分類を行なうことも可能となる。言うまでもないが、この場合でも、優先度の高い記述形式のメタデータも検索や分類に利用することが可能である。
また、単一のデータ構造に対応した検索または分類装置を作成するだけで、優先度が低い形式まで格納されているデータに対しては、優先度が低く設定された形式での検索も可能である。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピィディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
多くの、広範な実施形態が、本発明の精神及び範囲から逸脱することなくなし得ることが明らかであり、本発明は特定の実施形態によって限定されるものではなく、特許請求の範囲の規定によって限定されるべきである。
本願に組み込まれその一部を構成する添付の図面は、本発明の実施形態を表すものであり、明細書の説明とともに本発明の原理を説明するのに提供される。
本実施形態における撮像装置の構成を示すブロック図である。 システム制御部２１の構成を示すブロック図である。 動画像とメタデータの記録時のシステム制御部２１による制御概要を示したフローチャートである。 メタデータ格納方法の概念図である。 メタデータのデータ構造の一例を示した図である。 複数の記述形式をもつメタデータの優先度付けの一例を示す図である。 本実施形態におけるメタデータ項目のグループ分けの一例である。 本実施形態におけるメタデータ項目のグループ分けの一例である。 図３のステップＳ３７で実行されるメタデータ格納処理の概要を説明するフローチャートである。 図９のステップＳ９０におけるメタデータの取得処理を説明するフローチャートである。 図９のステップＳ９１におけるメタデータの記述形式の変換処理を説明するフローチャートである。 図９のステップＳ９２におけるメタデータの格納処理を説明するフローチャートである。 複数の撮像装置におけるメタデータ形式の対応について説明した図である。

Claims (50)

  1. 画像情報とこれに付帯する付帯情報項目を格納する画像処理装置であって、
    同一の付帯情報項目に対して複数の記述形式が存在する場合に、付帯情報項目毎に該複数の記述形式に優先度を予め定めておく決定手段と、
    前記画像処理装置において利用可能な記述形式の中で、前記優先度に従って記録時に使用する記述形式を選択する選択手段と、
    選択された記述形式で付帯情報項目を画像情報と対応付けて記録する記録手段とを備え、
    前記選択手段は、前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式を複数選択することを特徴とする装置。
  2. 前記選択手段は、
    前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式もしくは表現形式を複数選択すると同時に、選択された中で一番低い優先度を持つ記述形式よりも、高い優先度を持つ記述形式がすべて選択されているようにすることを特徴とする請求項１に記載の画像処理装置。
  3. 前記選択手段は、
    前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式を選択し、その優先度に応じてその付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることを特徴とする請求項１に記載の画像処理装置。
  4. 前記選択手段は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、優先度の高い記述形式の付帯情報項目を、容易に格納や取り出しができる格納位置や格納方式にて格納することを特徴とする請求項３に記載の画像処理装置。
  5. 前記選択手段は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、記述形式もしくは表現形式の優先度の順に、その付帯情報項目の格納や取り出しがより容易にできる格納位置や格納方式にて付帯情報を格納することを特徴とする請求項３に記載の画像処理装置。
  6. 前記選択手段は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、記憶媒体上の複数の格納位置や格納方式に対し、特定の優先度の記述形式を割り当てる規則をあらかじめ定めておき、これに従って格納位置や格納方式を決めることを特徴とする請求項３に記載の画像処理装置。
  7. 前記選択手段は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、記憶媒体上の複数の格納位置や格納方式に対し、特定の優先度の記述形式を、記録する付帯情報項目ごとに割り当てる規則をあらかじめ定めておき、これに従って格納位置や格納方式を決めることを特徴とする請求項３に記載の画像処理装置。
  8. 前記画像処理装置が動画像撮像装置であり、
    前記画像情報は動画像であり、前記付帯情報項目が、撮影時の、撮像機器の情報、光学機器の状態情報、ユーザの操作に関する情報、撮影環境に関する情報、の少なくともいずれかを含むことを特徴とする請求項１に記載の画像処理装置。
  9. 前記付帯情報項目に関連するセンサや機器が複数個ある場合、どのセンサや機器の情報を選択して記憶するかが前記優先度の高い順に決定されることを特徴とする請求項８に記載の画像処理装置。
  10. センサや他の機器からの情報の取得に制限がある場合、どのセンサや他の機器の情報を選択して情報を取得するかが、前記優先度の高い順に決定されることを特徴とする請求項８に記載の画像処理装置。
  11. 前記制限が、センサや他の機器から情報を取得する時間に関する制限であることを特徴とする請求項１０に記載の画像処理装置。
  12. 前記制限が、センサや他の機器から取得した情報を一時的に保存する量に関する制限であることを特徴とする請求項１０に記載の画像処理装置。
  13. センサや機器からの情報を同時に複数の単位系または精度に直す演算に制限があるときに、前記優先度の高い順にどの単位系を選択するかを決定することを特徴とする請求項８に記載の画像処理装置。
  14. 前記制限が、センサや機器からの情報を同時に複数の単位系または精度に演算しなおす時間に関する制限であることを特徴とする請求項１３に記載の画像処理装置。
  15. 前記制限が、演算しなおした情報を一時的に保存する量に関する制限であることを特徴とする請求項１３に記載の画像処理装置。
  16. 前記制限が、センサや他の機器からの情報を同時に複数の単位系または精度に演算しなおす演算能力に関する制限であることを特徴とする請求項１３に記載の画像処理装置。
  17. 前記制限は、センサや他の機器からの情報に未取得のものが含まれていることであることを特徴とする請求項１３に記載の画像処理装置。
  18. センサや他の機器からの情報を同時に複数の形式で記述できる場合であって、その記述に関する制限がある場合に、どのセンサや他の機器の情報を選択して記憶するかを、前記優先度の高い順に決定することを特徴とする請求項８に記載の画像処理装置。
  19. 前記制限が、記述に利用できる時間に関する制限であることを特徴とする請求項１８に記載の画像処理装置。
  20. 前記制限が、記述できる情報量に関する制限であることを特徴とする請求項１８に記載の画像処理装置。
  21. 情報の取得の容易性、または、情報の使用頻度に応じて前記優先度が規定されることを特徴とする請求項８に記載の画像処理装置。
  22. センサや他の機器からの情報を同時に複数の形式で記述できる場合に、各情報に対して予め規定された優先度ごとに格納領域を分けて各情報が記述されることを特徴とする請求項８に記載の画像処理装置。
  23. センサや他の機器からの情報を同時に複数の形式で記述できる場合に、各情報に対して予め規定された格納領域に従って分けて各情報が記述されることを特徴とする請求項８に記載の画像処理装置。
  24. 情報の取得の容易性、または、情報の使用頻度に応じて各情報の格納領域が規定されることを特徴とする請求項２３に記載の画像処理装置。
  25. 画像情報とこれに付帯する付帯情報項目を格納する画像処理装置の制御方法であって、
    決定手段が、同一の付帯情報項目に対して複数の記述形式が存在する場合に、付帯情報項目毎に該複数の記述形式に優先度を予め定めておく決定工程と、
    選択手段が、前記画像処理装置において利用可能な記述形式の中で、前記優先度に従って記録時に使用する記述形式を選択する選択工程と、
    記録手段が、選択された記述形式で付帯情報項目を画像情報と対応付けて記録する記録工程とを備え、
    前記選択工程では、前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式を複数選択することを特徴とする画像処理装置の制御方法。
  26. 前記選択工程は、
    前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式もしくは表現形式を複数選択すると同時に、選択された中で一番低い優先度を持つ記述形式よりも、高い優先度を持つ記述形式がすべて選択されているようにすることを特徴とする請求項２５に記載の画像処理装置の制御方法。
  27. 前記選択工程は、
    前記画像処理装置において利用可能な記述形式の中で、優先度の高いものから順に、前記画像処理装置の制約を考慮して利用可能な範囲の中で、使用する記述形式を選択し、その優先度に応じてその付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることを特徴とする請求項２５に記載の画像処理装置の制御方法。
  28. 前記選択工程は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、優先度の高い記述形式の付帯情報項目を、容易に格納や取り出しができる格納位置や格納方式にて格納することを特徴とする請求項２７に記載の画像処理装置の制御方法。
  29. 前記選択工程は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、記述形式もしくは表現形式の優先度の順に、その付帯情報項目の格納や取り出しがより容易にできる格納位置や格納方式にて付帯情報を格納することを特徴とする請求項２７に記載の画像処理装置の制御方法。
  30. 前記選択工程は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、記憶媒体上の複数の格納位置や格納方式に対し、特定の優先度の記述形式を割り当てる規則をあらかじめ定めておき、これに従って格納位置や格納方式を決めることを特徴とする請求項２７に記載の画像処理装置の制御方法。
  31. 前記選択工程は、
    前記付帯情報項目の記憶媒体上の格納位置や格納方式を異ならせることにおいて、記憶媒体上の複数の格納位置や格納方式に対し、特定の優先度の記述形式を、記録する付帯情報項目ごとに割り当てる規則をあらかじめ定めておき、これに従って格納位置や格納方式を決めることを特徴とする請求項２７に記載の画像処理装置の制御方法。
  32. 前記画像処理装置が動画像撮像装置であり、
    前記画像情報は動画像であり、前記付帯情報項目が、撮影時の、撮像機器の情報、光学機器の状態情報、ユーザの操作に関する情報、撮影環境に関する情報、の少なくともいずれかを含むことを特徴とする請求項２５に記載の画像処理装置の制御方法。
  33. 前記付帯情報項目に関連するセンサや機器が複数個ある場合、どのセンサや機器の情報を選択して記憶するかが前記優先度の高い順に決定されることを特徴とする請求項３２に記載の画像処理装置の制御方法。
  34. センサや他の機器からの情報の取得に制限がある場合、どのセンサや他の機器の情報を選択して情報を取得するかが、前記優先度の高い順に決定されることを特徴とする請求項３２に記載の画像処理装置の制御方法。
  35. 前記制限が、センサや他の機器から情報を取得する時間に関する制限であることを特徴とする請求項３４に記載の画像処理装置の制御方法。
  36. 前記制限が、センサや他の機器から取得した情報を一時的に保存する量に関する制限であることを特徴とする請求項３４に記載の画像処理装置の制御方法。
  37. センサや機器からの情報を同時に複数の単位系または精度に直す演算に制限があるときに、 前記優先度の高い順にどの単位系を選択するかを決定することを特徴とする請求項３２に記載の画像処理装置の制御方法。
  38. 前記制限が、センサや機器からの情報を同時に複数の単位系または精度に演算しなおす時間に関する制限であることを特徴とする請求項３７に記載の画像処理装置の制御方法。
  39. 前記制限が、演算しなおした情報を一時的に保存する量に関する制限であることを特徴とする請求項３７に記載の画像処理装置の制御方法。
  40. 前記制限が、センサや他の機器からの情報を同時に複数の単位系または精度に演算しなおす演算能力に関する制限であることを特徴とする請求項３７に記載の画像処理装置の制御方法。
  41. 前記制限は、センサや他の機器からの情報に未取得のものが含まれていることであることを特徴とする請求項３７に記載の画像処理装置の制御方法。
  42. センサや他の機器からの情報を同時に複数の形式で記述できる場合であって、その記述に関する制限がある場合に、どのセンサや他の機器の情報を選択して記憶するかを、前記優先度の高い順に決定することを特徴とする請求項３２に記載の画像処理装置の制御方法。
  43. 前記制限が、記述に利用できる時間に関する制限であることを特徴とする請求項４２に記載の画像処理装置の制御方法。
  44. 前記制限が、記述できる情報量に関する制限であることを特徴とする請求項４２に記載の画像処理装置の制御方法。
  45. 情報の取得の容易性、または、情報の使用頻度に応じて前記優先度が規定されることを特徴とする請求項３２に記載の画像処理装置の制御方法。
  46. センサや他の機器からの情報を同時に複数の形式で記述できる場合に、各情報に対して予め規定された優先度ごとに格納領域を分けて各情報が記述されることを特徴とする請求項３２に記載の画像処理装置の制御方法。
  47. センサや他の機器からの情報を同時に複数の形式で記述できる場合に、各情報に対して予め規定された格納領域に従って分けて各情報が記述されることを特徴とする請求項３２に記載の画像処理装置の制御方法。
  48. 情報の取得の容易性、または、情報の使用頻度に応じて各情報の格納領域が規定されることを特徴とする請求項４７に記載の画像処理装置の制御方法。
  49. 請求項２５乃至４８のいずれか１項に記載の画像処理装置の制御方法をコンピュータに実行させるための制御プログラム。
  50. 請求項２５乃至４８のいずれか１項に記載の画像処理装置の制御方法をコンピュータに実行させるための制御プログラムを格納したコンピュータ読み取り可能な記憶媒体。
JP2003501194A 2001-05-31 2002-05-29 画像処理装置及びその制御方法 Expired - Fee Related JP4205574B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001165381 2001-05-31
PCT/JP2002/005229 WO2002098130A2 (en) 2001-05-31 2002-05-29 Information storing apparatus and method therefor

Publications (2)

Publication Number Publication Date
JP2004522355A JP2004522355A (ja) 2004-07-22
JP4205574B2 true JP4205574B2 (ja) 2009-01-07

Family

ID=19008050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003501194A Expired - Fee Related JP4205574B2 (ja) 2001-05-31 2002-05-29 画像処理装置及びその制御方法

Country Status (8)

Country Link
US (1) US7463290B2 (ja)
EP (1) EP1407620B1 (ja)
JP (1) JP4205574B2 (ja)
KR (1) KR100582628B1 (ja)
CN (1) CN1286326C (ja)
AU (1) AU2002302974A1 (ja)
DE (1) DE60232975D1 (ja)
WO (1) WO2002098130A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079491A (ja) * 2018-07-06 2019-05-23 尚紀 北村 情報提供システム
JP2020021107A (ja) * 2018-07-30 2020-02-06 尚紀 北村 情報提供システム
JP7015603B1 (ja) 2018-07-06 2022-02-15 株式会社インキュビット 情報提供システム
JP7015604B1 (ja) 2018-07-06 2022-02-15 株式会社インキュビット 情報提供システム
JP2022036304A (ja) * 2021-12-03 2022-03-04 株式会社インキュビット 情報提供システム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332365B2 (ja) 2003-04-04 2009-09-16 ソニー株式会社 メタデータ表示システム，映像信号記録再生装置，撮像装置，メタデータ表示方法
JP4332364B2 (ja) 2003-04-04 2009-09-16 ソニー株式会社 映像記録システム，映像記録方法
US8718128B2 (en) * 2003-05-07 2014-05-06 Canon Kabushiki Kaisha Moving image processing method and apparatus
JP4168837B2 (ja) 2003-06-03 2008-10-22 ソニー株式会社 情報生成装置、記録装置、再生装置、記録再生システムおよびその方法ならびにプログラム
KR100745995B1 (ko) * 2003-06-04 2007-08-06 삼성전자주식회사 메타 데이터 관리 장치 및 방법
US8041186B1 (en) 2003-12-09 2011-10-18 Apple Inc. Propagating metadata associated with digital video
US8135261B1 (en) 2003-12-09 2012-03-13 Apple Inc. Insertion and usage of metadata in digital video
US8064752B1 (en) 2003-12-09 2011-11-22 Apple Inc. Video encoding
US7185888B2 (en) * 2004-03-29 2007-03-06 Palo Alto Research Center Incorporated Rotational jam clearance apparatus
JP2006025310A (ja) * 2004-07-09 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置
CN100583282C (zh) * 2004-09-29 2010-01-20 彩色印片公司 色彩判定元数据生成的方法及设备
JP2006099671A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 動画像のメタデータの検索テーブル
CN101964914B (zh) * 2005-07-27 2015-10-14 松下电器产业株式会社 信息记录装置以及信息记录方法
JP2007081594A (ja) * 2005-09-13 2007-03-29 Sony Corp 撮像装置、記録方法
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
WO2007108458A1 (ja) 2006-03-23 2007-09-27 Matsushita Electric Industrial Co., Ltd. コンテンツ撮影装置
US7714908B2 (en) * 2006-05-26 2010-05-11 Lifetouch Inc. Identifying and tracking digital images with customized metadata
EP2063635A4 (en) * 2006-09-12 2009-12-09 Panasonic Corp CONTENT IMAGE FORMATION DEVICE
KR100984857B1 (ko) * 2008-02-14 2010-10-04 주식회사 하이닉스반도체 메모리 모듈 및 그의 제조방법
US20100295957A1 (en) 2009-05-19 2010-11-25 Sony Ericsson Mobile Communications Ab Method of capturing digital images and image capturing apparatus
JP5290867B2 (ja) * 2009-05-25 2013-09-18 キヤノン株式会社 画像検索装置およびその方法
JP5523220B2 (ja) 2010-06-30 2014-06-18 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein
EP2682879A1 (en) 2012-07-05 2014-01-08 Thomson Licensing Method and apparatus for prioritizing metadata
JP2014033931A (ja) * 2012-08-10 2014-02-24 Hoya Corp 内視鏡装置
DE102014216511A1 (de) * 2014-08-20 2016-02-25 Carl Zeiss Meditec Ag Erstellen von Kapitelstrukturen für Videodaten mit Bildern aus einem Operationsmikroskop-Objektbereich
JP2016151827A (ja) 2015-02-16 2016-08-22 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
US10848666B2 (en) * 2017-08-08 2020-11-24 Canon Kabushiki Kaisha Image capturing device and control method
JP7214538B2 (ja) * 2019-03-29 2023-01-30 キヤノン株式会社 撮像装置及び記録制御方法
WO2021261106A1 (ja) * 2020-06-26 2021-12-30 富士フイルム株式会社 動画撮像装置、動画撮像方法、及び動画撮像プログラム
WO2024070161A1 (ja) * 2022-09-29 2024-04-04 富士フイルム株式会社 画像ファイル作成方法、画像ファイル、画像ファイル作成装置、及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US107223A (en) * 1870-09-13 Improvement in handles for table and other cutlery
US16942A (en) * 1857-03-31 Maeion j
US970A (en) * 1838-10-08 Improvement in xself-sharpening p plows
JP2941867B2 (ja) * 1989-12-15 1999-08-30 キヤノン株式会社 記録再生装置
EP0951173B1 (en) * 1992-09-09 2007-01-17 Canon Kabushiki Kaisha Information signal processing apparatus with storage of management information in temporarily storing means
JP3477778B2 (ja) 1992-12-04 2003-12-10 ソニー株式会社 ディジタル画像音声信号記録再生装置
TW323875U (en) * 1992-12-04 1997-12-21 Sony Corp Digital video and audio signal recording and reproducing apparatus
JP3329069B2 (ja) 1994-05-02 2002-09-30 ソニー株式会社 画像音声信号記録再生装置及び画像音声信号記録装置
JP3674095B2 (ja) * 1995-08-31 2005-07-20 ソニー株式会社 カメラ設定データの記録再生方法及び記録再生装置
JP4456675B2 (ja) * 1996-04-17 2010-04-28 株式会社日立製作所 映像記録再生装置及び映像記録再生方法
JP3755141B2 (ja) * 1996-06-14 2006-03-15 株式会社ニコン 情報処理装置
EP0864986B1 (en) * 1997-03-12 2006-07-12 Canon Kabushiki Kaisha Data communication apparatus, method and system, and program for data communication process stored in memory medium
US6625383B1 (en) * 1997-07-11 2003-09-23 Mitsubishi Denki Kabushiki Kaisha Moving picture collection and event detection apparatus
JP3409999B2 (ja) 1997-08-12 2003-05-26 株式会社東芝 データ編集装置及びデータ編集方法
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US7170632B1 (en) * 1998-05-20 2007-01-30 Fuji Photo Film Co., Ltd. Image reproducing method and apparatus, image processing method and apparatus, and photographing support system
US6230162B1 (en) * 1998-06-20 2001-05-08 International Business Machines Corporation Progressive interleaved delivery of interactive descriptions and renderers for electronic publishing of merchandise
US6466970B1 (en) * 1999-01-27 2002-10-15 International Business Machines Corporation System and method for collecting and analyzing information about content requested in a network (World Wide Web) environment
JP2000276387A (ja) * 1999-03-23 2000-10-06 Toshiba Corp メタデータ登録方法および装置、データサーバ装置、並びにメタデータ登録用プログラムを記憶した記憶媒体
GB2359918A (en) * 2000-03-01 2001-09-05 Sony Uk Ltd Audio and/or video generation apparatus having a metadata generator
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US7225181B2 (en) * 2000-02-04 2007-05-29 Fujitsu Limited Document searching apparatus, method thereof, and record medium thereof
US7114660B1 (en) * 2000-08-29 2006-10-03 Eastman Kodak Company Non-image pixel data stored on hard-copy image media
JP4076078B2 (ja) 2001-03-30 2008-04-16 キヤノン株式会社 ファイル管理方法
US6977679B2 (en) * 2001-04-03 2005-12-20 Hewlett-Packard Development Company, L.P. Camera meta-data for content categorization
JP4046957B2 (ja) 2001-07-05 2008-02-13 キヤノン株式会社 撮像装置及びその制御方法、情報処理装置及び方法、並びに記憶媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079491A (ja) * 2018-07-06 2019-05-23 尚紀 北村 情報提供システム
JP7015603B1 (ja) 2018-07-06 2022-02-15 株式会社インキュビット 情報提供システム
JP7015604B1 (ja) 2018-07-06 2022-02-15 株式会社インキュビット 情報提供システム
JP2022032054A (ja) * 2018-07-06 2022-02-24 株式会社インキュビット 情報提供システム
JP2022032055A (ja) * 2018-07-06 2022-02-24 株式会社インキュビット 情報提供システム
JP2020021107A (ja) * 2018-07-30 2020-02-06 尚紀 北村 情報提供システム
JP2022016526A (ja) * 2018-07-30 2022-01-21 株式会社インキュビット 情報提供システム
JP2022016527A (ja) * 2018-07-30 2022-01-21 株式会社インキュビット 情報提供システム
JP2022036304A (ja) * 2021-12-03 2022-03-04 株式会社インキュビット 情報提供システム
JP7079541B2 (ja) 2021-12-03 2022-06-02 株式会社インキュビット 情報提供システム
JP2022107015A (ja) * 2021-12-03 2022-07-20 株式会社インキュビット 情報提供システム
JP7418857B2 (ja) 2021-12-03 2024-01-22 株式会社インキュビット 情報提供システム

Also Published As

Publication number Publication date
KR100582628B1 (ko) 2006-05-23
US20040086265A1 (en) 2004-05-06
DE60232975D1 (de) 2009-08-27
EP1407620B1 (en) 2009-07-15
AU2002302974A1 (en) 2002-12-09
KR20040007615A (ko) 2004-01-24
US7463290B2 (en) 2008-12-09
WO2002098130A2 (en) 2002-12-05
WO2002098130A3 (en) 2003-03-27
CN1286326C (zh) 2006-11-22
EP1407620A2 (en) 2004-04-14
JP2004522355A (ja) 2004-07-22
CN1526242A (zh) 2004-09-01

Similar Documents

Publication Publication Date Title
JP4205574B2 (ja) 画像処理装置及びその制御方法
RU2415513C1 (ru) Устройство записи изображения, способ записи изображения, устройство обработки изображения, способ обработки изображения и программа
EP1811768B1 (en) Image sensing apparatus and control method thereof and program for implementing the method
JP5106335B2 (ja) 撮像装置及びその制御方法及びプログラム
US20140055629A1 (en) Imaging apparatus
JP4560422B2 (ja) 撮像装置及びその制御方法
US7791742B2 (en) Image processing apparatus, control method therefor, program, and computer-readable storage medium
JP5264539B2 (ja) 電子機器及びその制御方法、プログラム
EP2381449B1 (en) Image processing apparatus and method of controlling the same
US7391461B2 (en) Apparatus, method and control computer program for imaging a plurality of objects at different distances
CN1303813C (zh) 数据记录装置及数据记录方法
JP2009272799A (ja) 撮像装置、及び、プログラム
JP4692197B2 (ja) 記録装置、ファイル管理方法及びファイル管理プログラム
JP2004015212A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
US20110205396A1 (en) Apparatus and method, and computer readable recording medium for processing, reproducing, or storing image file including map data
JP2009089046A (ja) 画像データ処理方法及び撮影装置
JP3064948B2 (ja) 画像情報の圧縮率を変更可能な電子カメラ
JP2004328039A (ja) デジタルカメラシステム
JP2006093956A (ja) 撮像装置
JP2003087652A (ja) 電子スチルカメラ
JP2007180615A (ja) 撮像装置及びその制御方法
JP2004187246A (ja) 撮像装置，その撮像方法，その撮像方法を動作させるためのプログラム，およびそのプログラムを記憶した記憶媒体
JP2005354621A (ja) 撮像装置及びその制御方法
CN100458542C (zh) 摄影设备和摄影方法
JP4217528B2 (ja) 動画像処理方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080919

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081016

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4205574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees