JPH0993532A - Image pickup recording device and system therefor - Google Patents

Abstract

PROBLEM TO BE SOLVED: To remarkably save a recording capacity in the image pickup aiming at extraction of an object image by compression-coding only the object image required in the picked-up images and recording the object image. SOLUTION: This image pickup recording device 1 is constituted of an image pickup means including an image forming optical system 2 and an image sensor 4, a coding recording means 6 and an image segmentation means 12 or the like. For example, a rectangular area as a processing area is set by using a point-out selection means 21 such as a mouse. Then the rectangular area is scanned to generate mask data for the extracted area and extracted picture elements are counted. The mask data are recorded in a prescribed storage means to decide a size of a square area on the basis of the total picture element number. Then data of the extracted picture elements in a scanning direction are arranged in the square area in the same scanning direction. The coding recording means 6 applied compression processing to the image data in the square area obtained in this way and compressed data and mask data are recorded onto the recording medium.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、画像切り出し、識
別及び画像圧縮機能を有する撮像記録装置及び撮像記録
システムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image capturing / recording apparatus and an image capturing / recording system having image cutout, identification and image compression functions.

【０００２】[0002]

【従来の技術】従来、撮像記録装置においては、信号処
理のデジタル化に伴い、映像情報の処理、加工の自由度
が向上するに従って装置内部での処理には、輝度レベ
ル、色調の変換、ホワイトバランス処理、量子化サイズ
変換などの比較的軽易な処理からエッジ抽出機能や色成
分の逐次成長法を用いた画像抽出機能（テレビジョン学
会技術報告、ｖｏｌ．１８，ｐｐ．１３−１８，１９９
４）を有するものなどがある。2. Description of the Related Art Conventionally, in an imaging and recording apparatus, with the digitization of signal processing, the degree of freedom in image information processing and processing is improved. Edge extraction function and image extraction function using successive growth method of color components from relatively easy processing such as balance processing and quantization size conversion (Technical Report of the Television Society, vol. 18, pp. 13-18, 199).
4) and the like.

【０００３】特に、撮像時の情報を活用する方式として
特開平６−２５３１９７公報で開示された、背景画像と
の差分に基づいて画像抽出（切り出し）を行う手法で
は、背景画像の撮像時に平均輝度が適正となるように絞
り制御手段を設定し、背景画像と同じ設定値を用いて現
画像を撮像した後、それらの差分データに基づき対象画
像の抽出を行っている。In particular, in the method of extracting (cutting out) an image based on the difference from the background image, which is disclosed in Japanese Patent Laid-Open No. 6-253197 as a method of utilizing information at the time of image capturing, the average brightness at the time of capturing the background image The aperture control means is set so as to be appropriate, the current image is captured using the same setting value as the background image, and then the target image is extracted based on the difference data thereof.

【０００４】また、圧縮方式としては、特定の対象（人
物、物体等）画像のみ圧縮する方式（特開平５−１４５
９１４号公報）、背景と区別して圧縮率を変える方式
（特開平５−２６８４８４号公報、特開平５−３３６３
７４号公報）などがある。As a compression method, a method of compressing only a specific target (person, object, etc.) image (Japanese Patent Laid-Open No. 5-145)
914), and a method of changing the compression ratio in distinction from the background (JP-A-5-268484, JP-A-5-3363).
No. 74).

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、上述し
た従来の撮像記録装置は、画像の抽出、追跡などを意図
して撮影する場合、抽出した画像の圧縮記録手段を有し
ないために必要とされる特定の対象画像のみを撮像時に
自動的に圧縮符号化することができないため、撮像記録
装置において記録可能な画像データ容量を浪費してしま
うという問題があった。However, the above-mentioned conventional image pickup recording apparatus is required because it does not have a compression recording unit for the extracted image when the image is taken for the purpose of extracting or tracking the image. Since it is not possible to automatically compress and code only a specific target image at the time of image capturing, there is a problem that the image data capacity that can be recorded in the image capturing and recording apparatus is wasted.

【０００６】また、撮像記録装置において抽出（或いは
識別、追跡など）すべき被写体の指定を行うためのイン
タフェース手段が装備されていないため、抽出（切り出
し）処理を撮像又は全画面の記録が全て終了後に外部演
算装置（端末）などで行う必要があった。Further, since the image capturing / recording apparatus is not equipped with the interface means for designating the object to be extracted (or identified, tracked, etc.), the extraction (cutout) processing is completed or the recording of the entire screen is completed. It was necessary to do it later with an external computing device (terminal).

【０００７】更に、抽出対象が同時に複数ある場合の各
々の配置関係、名称、撮像条件など、撮像時に抽出可能
な情報を記録できないため、後で画像の編集合成を行う
時に不便であるなどの問題があった。Furthermore, when there are a plurality of extraction targets at the same time, it is not possible to record information that can be extracted at the time of image pickup, such as the positional relationship, name, image pickup condition, etc., so that it is inconvenient when the images are edited and synthesized later. was there.

【０００８】そこで、本発明は、上記に鑑みてなされた
ものであり、撮像した画像のうち必要とされる画像のみ
を効率的に符号化し、記録容量の大幅な節減を可能とす
ることを目的とするものである。Therefore, the present invention has been made in view of the above, and it is an object of the present invention to efficiently encode only a necessary image among picked-up images and to significantly reduce the recording capacity. It is what

【０００９】[0009]

【課題を解決するための手段】上記目的を達成するため
の本発明の撮像記録装置は、画像を撮像する撮像手段
と、この撮像手段により撮像された画像から対象画像を
切り出す画像切り出し手段と、この画像切り出し手段に
より切り出された対象画像を圧縮符号化して記録する符
号化記録手段とを有することを特徴とするものである。An image pickup recording apparatus of the present invention for achieving the above object includes an image pickup means for picking up an image, and an image cutout means for cutting out a target image from the image picked up by the image pickup means. An encoding / recording unit that compresses and encodes and records the target image cut out by the image cutout unit.

【００１０】画像切り出し手段は、表示画像上で指定さ
れた対象画像を含む領域の画像を処理して対象画像のみ
を切り出してもよく、同一の撮像条件で撮像手段により
撮像された、対象画像を含む第１の画像及びその対象画
像を含まない第２の画像を基に第１の画像から対象画像
を切り出してもよく、また、受信手段により外部から受
信した指定情報に基づいて対象画像を切り出してもよ
く、さらに、所定の評価関数が最小となるように、対象
画像を包囲する輪郭線上の各サンプリング点の移動を行
うことで、対象画像を切り出してもよい。The image cut-out means may process an image of an area including the target image designated on the display image to cut out only the target image. The target image picked up by the image pick-up means under the same image pick-up condition may be picked up. The target image may be cut out from the first image based on the first image including the first image and the second image not including the target image, or the target image may be cut out based on the designation information received from the outside by the receiving unit. Alternatively, the target image may be cut out by moving each sampling point on the contour line surrounding the target image so that the predetermined evaluation function is minimized.

【００１１】符号化記録手段は、対象画像とともにその
付帯情報をも圧縮符号化して記録してもよく、対象画像
のサイズに応じて圧縮符号化率を変更してもよく、対象
画像のマスクデータを作成し、このマスク内の画像デー
タを走査して順次所定の矩形領域に配列し直した後、こ
の矩形領域内の画像データを圧縮符号化してもよい。ま
た、圧縮符号化されたデータを送信手段により装置外部
へ転送してもよい。The encoding / recording means may compression-code and record the incidental information together with the target image, change the compression coding rate according to the size of the target image, and mask data of the target image. May be created, the image data in the mask may be scanned and rearranged sequentially in a predetermined rectangular area, and then the image data in the rectangular area may be compression-encoded. Further, the compression-encoded data may be transferred to the outside of the device by the transmitting means.

【００１２】また、動画像を撮像する撮像手段と、この
撮像手段により撮像された動画像のうち背景画像を順次
時系列的に統合して一枚の背景画像を生成する背景画像
統合手段と、前記撮像手段により撮像された動画像から
対象画像のみの時系列画像を切り出す画像切り出し手段
と、前記背景画像統合手段から出力される背景画像及び
画像切り出し手段から出力される対象画像を各々圧縮符
号化して記録することを特徴とするものである。Further, an image pickup means for picking up a moving image, and a background image integration means for sequentially integrating the background images of the moving images picked up by the image pickup means in time series to generate one background image, An image cutout unit that cuts out a time-series image of only the target image from the moving image captured by the image pickup unit, and a background image output from the background image integration unit and a target image output from the image cutout unit are respectively compression-encoded. It is characterized by recording as.

【００１３】また、本発明の撮像記録システムは、画像
の撮像・記録が可能な撮像記録装置と、この撮像記録装
置との間で通信が可能な外部端末とを有する撮像記録シ
ステムにおいて、前記外部端末は、撮像条件の制御情報
及び対象画像の指定情報を前記撮像記録装置に送信する
送信手段と、前記撮像記録装置から転送されたデータを
記憶する記憶手段とを備え、前記撮像記録装置は、前記
送信手段から送信された撮像条件の制御情報に基づいて
画像を撮像する撮像手段と、この撮像手段により撮像さ
れた画像から前記外部端末から送信された指定情報に基
づいて対象画像を切り出す画像切り出し手段と、前記対
象画像を圧縮符号化して記録する符号化記録手段と、こ
の符号化記録手段により圧縮符号化されたデータを前記
外部端末へ転送して前記記憶手段に記憶する通信制御手
段とを備えることを特徴とするものである。The image pickup recording system of the present invention is an image pickup recording system having an image pickup recording device capable of picking up and recording an image and an external terminal capable of communicating with the image pickup recording device. The terminal includes a transmission unit that transmits the control information of the imaging condition and the designation information of the target image to the imaging recording device, and a storage unit that stores the data transferred from the imaging recording device, and the imaging recording device, Image pickup means for picking up an image based on the control information of the image pickup condition transmitted from the transmitting means, and image cutout for cutting out a target image from the image picked up by the image pickup means based on the designation information transmitted from the external terminal Means, an encoding / recording means for compression-encoding and recording the target image, and the data compression-encoded by the encoding / recording means is transferred to the external terminal. It is characterized in further comprising a communication control means for storing in the storage means.

【００１４】[0014]

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

【００１５】図１は本発明の撮像記録システムの一実施
の形態を示す外観図である。FIG. 1 is an external view showing an embodiment of an image pickup recording system of the present invention.

【００１６】本実施の形態の撮像記録システムは、撮像
記録装置１と、外部端末１６とから構成されている。The image capturing / recording system of the present embodiment comprises an image capturing / recording apparatus 1 and an external terminal 16.

【００１７】撮像記録装置１は、ファインダを兼ねたタ
ッチパネル仕様のディスプレイ７と、例えばペンタイプ
の如き指示選択手段２１と、後述する画像種別設定手段
１９及びカメラパラメータ設定手段２０等のスイッチ類
を配列した操作パネル２４とを備え、例えば雲台等の固
定台２３上に設置され、データ通信制御手段１３のアン
テナ１３ａを介して外部端末１６と交信するものであ
る。The image pickup recording apparatus 1 includes a display 7 having a touch panel specification also serving as a finder, an instruction selecting means 21 such as a pen type, and switches such as an image type setting means 19 and a camera parameter setting means 20 which will be described later. The operation panel 24 is installed on the fixed base 23 such as a pan head, and communicates with the external terminal 16 via the antenna 13a of the data communication control means 13.

【００１８】外部端末１６は、タッチパネル仕様のディ
スプレイ１７と、例えばペンタイプの如き指示選択手段
２１とを備え、データ通信制御手段１３のアンテナ１３
ａを介して撮像記録装置１と交信するものである。The external terminal 16 is provided with a display 17 having a touch panel and an instruction selecting means 21 such as a pen type, and an antenna 13 of the data communication control means 13.
It communicates with the imaging recording device 1 via a.

【００１９】図２は本実施の形態の制御系を示すブロッ
ク図である。FIG. 2 is a block diagram showing the control system of this embodiment.

【００２０】撮像記録装置１は、結像光学系２、レンズ
モータ駆動制御部３及びＣＣＤの如きイメージセンサ４
を含む撮像手段と、撮像パラメータ計測制御手段５と、
符号化記録手段６と、ＥＶＦ等のビューファインダを兼
ねたタッチパネル仕様の前記ディスプレイ７と、撮像モ
ード記録手段８と、画像データ変換手段９と、映像信号
処理回路１０と、画像データ比較手段１１と、画像切り
出し手段１２と、データ通信制御手段１３と、ストロボ
発光手段１４と、撮像動作制御手段１５と、画像種別設
定手段１９と、カメラパラメータ設定手段２０と、指示
選択手段２１と、情報生成信号変換手段２２と、構図デ
ータ抽出手段２５とを具備している。The image pickup / recording apparatus 1 includes an image forming optical system 2, a lens motor drive control section 3, and an image sensor 4 such as a CCD.
An image pickup means including the image pickup parameter measurement control means 5,
An encoding / recording unit 6, the display 7 having a touch panel specification that also serves as a viewfinder such as an EVF, an imaging mode recording unit 8, an image data conversion unit 9, a video signal processing circuit 10, and an image data comparison unit 11. , Image cropping unit 12, data communication control unit 13, strobe light emitting unit 14, image pickup operation control unit 15, image type setting unit 19, camera parameter setting unit 20, instruction selection unit 21, and information generation signal. The conversion means 22 and the composition data extraction means 25 are provided.

【００２１】この撮像手段が撮像する画像には、静止画
像や動画像が含まれる。The images captured by the image capturing means include still images and moving images.

【００２２】撮像パラメータ計測制御手段５は、焦点距
離検出手段と、合焦状態検出手段と、シャッタ速度検出
制御手段と、絞り計測制御手段と、画像信号特性パラメ
ータ（ガンマ、ニー、ホワイトバランスの補正、ＣＣＤ
の蓄積時間等）の特徴量（例えばガンマについては補正
係数等）検出手段とを備え、各種の撮像パラメータの計
測制御を行うものである。The image pickup parameter measurement control means 5 is a focal length detection means, a focus state detection means, a shutter speed detection control means, an aperture measurement control means, and image signal characteristic parameters (gamma, knee, white balance correction). , CCD
And a characteristic amount (for example, a correction coefficient for gamma) detecting unit for controlling the measurement of various imaging parameters.

【００２３】符号化記録手段６は、図示しない記録媒体
を備え、画像データ、特に切り出し画像及びこの切り出
し画像に関する撮影条件等の付帯情報の圧縮符号化処理
を行い、そのデータを記録媒体に記録するものである。
なお、切り出し画像の圧縮符号化方式は、特定の切り出
し方式に依存するものではない。また、この圧縮符号化
方式は、静止画切り出し、動画切り出し（固定背景中を
被写体が動く場合）のいずれにも対応することができる
ものである。The encoding / recording means 6 is provided with a recording medium (not shown), performs compression encoding processing of image data, in particular, a cutout image and incidental information such as shooting conditions relating to this cutout image, and records the data in the recording medium. It is a thing.
The compression encoding method of the cutout image does not depend on a specific cutout method. Further, this compression encoding method can support both still image cutout and moving image cutout (when a subject moves in a fixed background).

【００２４】撮像モード記録手段８は、撮像パラメー
タ、画像特性パラメータ及びストロボ発光の有無、スキ
ャンニングなどの意図的な運動、手ぶれの有無などを含
む撮像時の情報を記録するものである。特にスキャン、
パン等のカメラ運動については撮像記録装置１に加速度
センサを内蔵させ、その出力データ等から判定してもよ
い。これらの付帯データは、画像データとともに画像デ
ータベース１８に記憶される。The image pickup mode recording means 8 records information at the time of image pickup including image pickup parameters, image characteristic parameters, presence / absence of stroboscopic light emission, intentional motion such as scanning, presence / absence of camera shake, and the like. Especially scans,
For camera movement such as panning, an acceleration sensor may be built in the image recording apparatus 1 and determination may be made from output data or the like. These incidental data are stored in the image database 18 together with the image data.

【００２５】画像データ変換手段９は、撮像条件等に基
づいて画像データを変換するものである。その詳細につ
いては後で説明する。The image data converting means 9 converts the image data based on the image pickup conditions and the like. The details will be described later.

【００２６】映像信号処理回路１０は、ガンマ、ニー、
ホワイトバランスの補正回路、ＡＦ、ＡＥ、ＡＧＣの処
理回路等を備えている。The video signal processing circuit 10 includes gamma, knee,
A white balance correction circuit, AF, AE, and AGC processing circuits are provided.

【００２７】画像データ比較手段１１は、主には被写体
込み画像（第１の画像）と背景画像（第２の画像）との
差分データを出力するものである。ここで、「被写体込
み画像」とは、被写体（対象）及び背景をともに入れた
画像をいい、「背景画像」とは、被写体のない背景のみ
の画像をいう。The image data comparison means 11 mainly outputs difference data between a subject-included image (first image) and a background image (second image). Here, the “image including the subject” refers to an image in which both the subject (target) and the background are included, and the “background image” refers to an image of only the background without the subject.

【００２８】画像切り出し手段１２は、画像データ比較
手段１１からの差分データを統計処理し、その統計処理
に基づき、抽出対象領域を固定し、被写体込み画像から
の切り出し用キー信号（またはマスクデータ）を出力す
るものである。また、画像切り出し手段１２は、１又は
２以上の被写体画像を切り出すようになっている。な
お、画像データ比較手段１１及び画像切り出し手段１２
は、同じ処理を撮像記録装置１外部の高速演算手段上で
実行してもよい。The image cutting means 12 statistically processes the difference data from the image data comparing means 11, fixes the extraction target area based on the statistical processing, and cuts out the key signal (or mask data) from the image including the subject. Is output. The image cutout unit 12 cuts out one or more subject images. The image data comparison means 11 and the image cutout means 12
May perform the same processing on a high-speed calculation means outside the imaging recording apparatus 1.

【００２９】データ通信制御手段１３は、外部端末１６
やデータベース１８等に画像データ等を転送したり、或
いは撮像記録装置１の制御パラメータ、コマンド等を外
部端末１６等から入力するものである。なお、データ通
信制御手段１３は、撮像記録装置１に接続可能とし、外
部に独立して設置してもよい。この場合には内部に画像
符号化手段を設けてもよい。The data communication control means 13 includes an external terminal 16
Image data or the like is transferred to the database 18 or the like, or control parameters or commands of the imaging recording apparatus 1 are input from the external terminal 16 or the like. The data communication control means 13 can be connected to the image pickup recording apparatus 1 and may be independently installed outside. In this case, an image coding means may be provided inside.

【００３０】撮像動作制御手段１５は、外部端末１６又
はカメラ操作により設定された制御モード（被写体抽出
モード、標準撮影モード等）により撮影モードに応じた
制御信号の発生等を行い、撮像記録装置１の各部を制御
するものであり、特に被写体抽出時には処理ステップに
応じたディスプレイ７、操作パネル２４等への動作メニ
ュの表示情報生成等も行うようになっている。The image pickup operation control means 15 generates a control signal according to the shooting mode according to the control mode (subject extraction mode, standard shooting mode, etc.) set by the operation of the external terminal 16 or the camera, and the image pickup recording apparatus 1 In particular, when the subject is extracted, display information of operation menus on the display 7, the operation panel 24 and the like are generated according to the processing steps.

【００３１】画像種別設定手段１９は、撮影する画像が
背景画像であるか被写体込み画像であるかの画像種別を
設定するためのスイッチ等を備え、この設定により自動
的に画像種別が付帯情報として記録されるようになって
いる。The image type setting means 19 is provided with a switch or the like for setting the image type of whether the image to be photographed is a background image or a subject-inclusive image, and by this setting, the image type is automatically set as supplementary information. It will be recorded.

【００３２】カメラパラメータ設定手段２０は、通常、
背景画像と被写体込み画像とは同じ撮像モードで撮像が
行われるが、撮像記録装置１内部の特性を操作者が任意
に設定するためのものである。The camera parameter setting means 20 is usually
Although the background image and the image including the subject are imaged in the same imaging mode, the operator arbitrarily sets the characteristics inside the imaging recording device 1.

【００３３】指示選択手段２１には、撮像記録装置１に
接続されたペン又はマウス等が適用される。この撮像記
録装置１に接続された指示選択手段２１は、撮影現場で
記録後又は撮影中の画面上で抽出対象の画像等を指示す
る目的で用いられる。なお、人間の指による指示選択を
前提とした構成でもよい。As the instruction selection means 21, a pen, a mouse or the like connected to the image recording device 1 is applied. The instruction selecting unit 21 connected to the image capturing / recording apparatus 1 is used for instructing an image or the like to be extracted on the screen after recording at the shooting site or on the screen during shooting. Note that the configuration may be based on the instruction selection by a human finger.

【００３４】情報生成信号変換手段２２は、ディスプレ
イ７がタッチパネル仕様時の表示情報の生成及び指示信
号の変換を行うものである。The information generation signal conversion means 22 is for generating display information and converting instruction signals when the display 7 is a touch panel type.

【００３５】なお、図２に示した画像種別設定手段１
９、カメラパラメータ設定手段２０等のスイッチ類は操
作パネル２４として一か所に配置したが、タッチパネル
ディスプレイ等に表示して操作可能としてもよい。The image type setting means 1 shown in FIG.
Although the switches such as 9 and the camera parameter setting means 20 are arranged in one place as the operation panel 24, they may be displayed on a touch panel display or the like so that they can be operated.

【００３６】前記外部端末１６は、アンテナ１３ａを備
えたデータ通信制御手段１３と、前記ディスプレイ１７
と、画像データベース１８と、撮像記録装置１と同様の
指示選択手段２１とを具備し、撮影モード制御、切り出
し画像の選択、登録画像の検索、選択等を行うものであ
る。なお、画像データベース１８は、外部端末１６の外
部に設けてもよい。The external terminal 16 has a data communication control means 13 equipped with an antenna 13a, and the display 17
The image database 18 and the instruction selecting unit 21 similar to the image capturing and recording apparatus 1 are provided to perform shooting mode control, selection of cutout images, search of registered images, selection, and the like. The image database 18 may be provided outside the external terminal 16.

【００３７】ディスプレイ１７は、処理画像の出力やフ
ァインダディスプレイとしての機能も有するものであ
り、指示選択手段２１とともに使用して画面内の特定対
象の指示等を行う目的に用いられる。The display 17 also has a function as an output of a processed image and a finder display, and is used together with the instruction selecting means 21 for the purpose of instructing a specific object on the screen.

【００３８】画像データベース１８は、過去に撮像され
た画像データ及びそれぞれの付帯情報として、画像登録
であるか否かの種別、撮像パラメータ、撮像条件（屋外
又は室内の区別、ストロボ投光の有無等）、或いはその
他の情報（日付、時刻、場所、カメラ操作者、タイトル
等）を保存している。The image database 18 includes, as the image data captured in the past and incidental information thereof, the type of image registration, image capturing parameters, image capturing conditions (discrimination between outdoor and indoor, presence / absence of strobe light emission, etc.). ) Or other information (date, time, place, camera operator, title, etc.) is stored.

【００３９】外部端末１６の指示選択手段２１は、撮像
記録装置１の指示選択手段２１と同様に、人間の指によ
る指示選択を前提とした構成でもよい。The instruction selecting means 21 of the external terminal 16 may be configured on the premise of the instruction selection by a human finger, similarly to the instruction selecting means 21 of the image pickup recording apparatus 1.

【００４０】次に、本実施の形態の基本動作を図３を参
照し、図４のフローチャートに従って説明する。Next, the basic operation of this embodiment will be described with reference to FIG. 3 and according to the flowchart of FIG.

【００４１】図３は被写体込み画像３０及び背景画像３
１から被写体のみの画像（切り出し画像）３３を得る動
作を説明するための図である。被写体込み画像３０では
被写体（人物）を優先した撮像モードで画像が入力さ
れ、背景画像３１では被写体込み画像３０と同じ撮像モ
ードか、または同じ倍率で遠景に画像信号特性量が合う
ように撮像されている。両画像３０、３１間では同じ背
景部３０ａ、３１ａにおいても画像データの特性（平均
的輝度レベル、色成分）が若干異なることがあり、同図
の背景画像３１の背景部３１ａは、説明上それを強調し
ている。FIG. 3 shows the image 30 including the subject and the background image 3.
FIG. 6 is a diagram for explaining an operation of obtaining an image (cutout image) 33 of only a subject from 1. In the subject-included image 30, an image is input in an image capturing mode in which a subject (person) is prioritized, and in the background image 31, the image is captured in the same image capturing mode as the subject-included image 30 or at the same magnification so that the image signal characteristic amount matches the distant view. ing. The characteristics (average luminance level, color component) of the image data may be slightly different between the two images 30 and 31 even in the same background portions 30a and 31a, and the background portion 31a of the background image 31 in FIG. Is emphasized.

【００４２】先ず、操作者は、撮影する画像が背景画像
３１であるか被写体込み画像３０であるかの画像種別を
画像種別設定手段１９を操作して設定する（Ｓ１）。こ
こでは、被写体込み画像（被写体抽出モード）３０を設
定したとする。被写体込み画像３０が設定された場合
は、撮像モード設定時に被写体に最適な撮像条件（以下
に説明）で図３に示すような被写体込み画像（第１の画
像）３０の撮像を行う（Ｓ２）。First, the operator operates the image type setting means 19 to set the image type as to whether the image to be photographed is the background image 31 or the in-subject image 30 (S1). Here, it is assumed that a subject-included image (subject extraction mode) 30 is set. When the subject-included image 30 is set, the subject-included image (first image) 30 as shown in FIG. 3 is captured under the optimal image capturing conditions (described below) for the subject when the image capturing mode is set (S2). .

【００４３】撮像後は撮像条件等の付帯情報を抽出し
（Ｓ３）、画像データとともに所定のフォーマットで記
録する（Ｓ４）。この付帯情報は、対応する画像データ
のアドレス等とともに別途ヘッダファイル等に記録して
もよい。After the image pickup, the incidental information such as the image pickup condition is extracted (S3) and recorded together with the image data in a predetermined format (S4). This additional information may be separately recorded in a header file or the like together with the address of the corresponding image data or the like.

【００４４】背景画像（第２の画像）３１を撮像する場
合は、被写体込み画像３０の付帯情報を呼び出し（Ｓ
５）、基本的に同一撮像条件で撮像モードを設定し（Ｓ
６）、図３に示すような背景画像３１を撮像する（Ｓ
７）。但し、このステップＳ７においては、環境条件等
の変動に対応するため、撮像パラメータ計測制御手段５
が、撮像時に撮像モード記録手段８で記録された撮像条
件の選択モードとして屋外又は室内の区別、ストロボ投
光の有無等の撮像条件と付帯情報を活用して環境条件の
変化の有無を判定し、同一条件にすべき撮像パラメータ
のみを制御する。室内、屋外を問わず、背景画像３１の
撮像時刻と被写体込み画像３０の撮像時刻とが近接して
いる場合には、環境条件、特にストロボ等の撮像記録装
置１の搭載の照明手段を除いた照明条件及び背景パター
ン等は殆ど変化していないと考えられる。従って画像信
号特性パラメータを除く撮像モードを両者間で同一（被
写体込み画像の撮像モードで統一）にすることにより、
２つの画像３０、３１間において背景パターンの同一領
域での画像データの変動は抑制することができ、後続す
る画像切り出し用統計的処理の信頼性を増すことができ
る。但し、被写体画像の分光反射率特性等によるセンサ
信号処理回路の特性（ガンマ、ホワイトバランス等）の
変動、ノイズの混入、照明条件の変動（外乱光の入射
等）等により一般的には同じ撮像モードでも背景部３０
ａ、３１ａの画像データは２つの画像３０、３１間で完
全に一致しない状況が存在する。このようなケース、例
えば、撮像記録装置１を手に持って撮影した場合に対応
するため、画像３０、３１の間の位置合わせを行った後
（Ｓ８）、画像データ変換処理を行い、被写体込み画像
３０の撮像条件に基づいて背景画像３１の正規化を行
い、背景画像３１のうち被写体込み画像３０の背景画像
領域３０ａに相当する部分３１ａの画像データがほぼ同
じとなるようにして変換後の背景画像３２を得る（Ｓ
９）。When the background image (second image) 31 is captured, the incidental information of the in-subject image 30 is called (S
5) Basically, the imaging mode is set under the same imaging conditions (S
6), the background image 31 as shown in FIG. 3 is captured (S
7). However, in this step S7, the imaging parameter measurement control means 5 is used in order to cope with changes in environmental conditions and the like.
However, whether or not there is a change in environmental conditions is determined by utilizing the imaging conditions such as outdoor or indoor distinction, the presence or absence of strobe light emission, and the incidental information as a selection mode of the imaging conditions recorded by the imaging mode recording means 8 during imaging. , Only the imaging parameters that should be the same condition are controlled. Whether indoors or outdoors, when the image capturing time of the background image 31 and the image capturing time of the in-subject image 30 are close to each other, environmental conditions, in particular, lighting means mounted on the image capturing and recording apparatus 1 such as a strobe are excluded. It is considered that the illumination conditions, the background pattern, etc. have hardly changed. Therefore, by making the imaging modes the same except for the image signal characteristic parameters (unified in the imaging mode of the image with the subject),
Fluctuations in image data in the same region of the background pattern between the two images 30 and 31 can be suppressed, and the reliability of the subsequent statistical processing for image cropping can be increased. However, the same image is generally taken due to variations in the characteristics of the sensor signal processing circuit (gamma, white balance, etc.) due to spectral reflectance characteristics of the subject image, noise contamination, fluctuations in illumination conditions (incident ambient light, etc.), etc. Background part 30 even in mode
There is a situation in which the image data of a and 31a do not completely match between the two images 30 and 31. In order to deal with such a case, for example, when the image pickup recording apparatus 1 is held in the hand and photographed, after the positions of the images 30 and 31 are aligned (S8), the image data conversion process is performed to include the subject. The background image 31 is normalized based on the image capturing conditions of the image 30, and after conversion so that the image data of the portion 31a of the background image 31 corresponding to the background image region 30a of the in-subject image 30 becomes substantially the same. Get the background image 32 (S
9).

【００４５】画像間位置合わせ終了後又は固定カメラに
よる撮影（画像変換処理なしの場合）終了後、画像デー
タ比較手段１１においては画像変換後の背景画像３１と
被写体込み画像３０との差分データを生成する画像比較
処理を行う（Ｓ１０）。After the inter-image registration is completed or after the fixed camera shoots (without image conversion processing), the image data comparison means 11 generates difference data between the background image 31 after image conversion and the in-subject image 30. Image comparison processing is performed (S10).

【００４６】次に、被写体込み画像３０と変換後の背景
画像３２との差分データ（比較処理Ｓ１０の結果）に基
づいて画像切り出し処理を行い、被写体のみの画像３３
を切り出す（Ｓ１１）。Next, an image cutout process is performed based on the difference data (result of the comparison process S10) between the subject-included image 30 and the converted background image 32, and the image 33 of the subject only.
Is cut out (S11).

【００４７】以下、画像変換処理（Ｓ９）及び画像切り
出し処理（Ｓ１１）の詳細を説明する。Details of the image conversion process (S9) and the image cutout process (S11) will be described below.

【００４８】先ず、画像変換処理（Ｓ９）を図５及び図
６を参照して説明する。First, the image conversion process (S9) will be described with reference to FIGS.

【００４９】画像データ変換手段９は、図５に示すよう
に、画像及びその付帯データ入力手段９０、輝度値変換
手段９１、色成分変換手段９２、画像間の位置合わせの
ための空間シフト演算手段（位置合わせ手段）９３、画
像サイズスケーリング手段９４、パラメータ変動評価手
段９５等から構成される。典型的には被写体込み画像を
基準画像とし、また基準画像については画像データを固
定とし、背景のみの画像データが変換されるものとす
る。尚、固定されたカメラで同一撮像条件（照明条件を
含む）で基準画像、背景画像の順に撮像することによ
り、殆どの場合で画像データ変換手段９での処理を省略
することが可能である。尚、背景画像又は基準画像とし
ては画像データベース１８から検索して抽出されたもの
を用いてもよい。As shown in FIG. 5, the image data conversion means 9 is an image and its accompanying data input means 90, a luminance value conversion means 91, a color component conversion means 92, and a spatial shift calculation means for aligning the images. (Alignment means) 93, image size scaling means 94, parameter variation evaluation means 95 and the like. Typically, an image including a subject is used as a reference image, image data of the reference image is fixed, and image data of only the background is converted. Note that, in most cases, the processing by the image data conversion unit 9 can be omitted by capturing the reference image and the background image in this order with a fixed camera under the same imaging conditions (including illumination conditions). The background image or the reference image may be one that is retrieved and extracted from the image database 18.

【００５０】撮像モードが両画像間で同一の場合、即
ち、環境条件の変化無しの場合には輝度値及び色成分の
変換は一般的には必要ないといえるが、被写体画像の特
徴及びその背景に対する面積の割合によっては画像信号
特性パラメータ、即ちゲイン、ホワイトバランス特性、
ガンマ特性が変わる。従って、これら特性値の少なくと
も一つの変化幅が一定閾値を越えた場合には、背景画像
及び被写体込み画像中の各点の所定メモリに記録したパ
ラメータ特性値の差異に基づいて輝度、色成分を被写体
込み画像の特性値に対応するように変換する。以下、前
記各手段での処理を説明する。なお、画像データ変換手
段９での変換処理は、各パラメータの変動が比較的小さ
い場合は、図５に示す如く、スケーリング変換、位置合
わせ、輝度変換、色成分変換の順に行われる。但し、撮
像モード同一化制御を撮像パラメータ設定手段２０によ
り解除した場合は、この限りではなく、図６のように、
位置合わせを除いて変換順序設定手段９６により変動量
の大きい項目順に変換を行う。スケーリング変換手段９
４は両画像間の倍率変動量に基づき、背景画像を被写体
込み画像と同じ視覚角となるように変換する。但し、撮
像記録装置１と被写体との距離の変動が十分小さいと仮
定する。倍率データの変動がない場合は、ここでの処理
を省略して位置合わせ手段９３から変換を始めてもよ
い。輝度値変換手段９１は、背景画像と被写体込み画像
間でのゲイン、ガンマ特性の変動量、露光量、及び屋外
・室内の区別、ストロボ発光有無等の照明条件の一致・
不一致等に基づき輝度レベルの変換を各画素ごとに行
う。色成分変換手段９２は、ホワイトバランス特性変動
量等に基づき色成分の変化を行う。位置合わせ手段９３
は、２つの画像を撮像する間の撮像記録装置１の位置、
姿勢変動（手ぶれ、撮像記録装置１の持ち直しがある場
合、足の位置を多少変えたりする場合）を許容するため
に両画像間の対応点抽出と対応点に基づく位置合わせを
行う。通常短時間中の手ぶれ程度の変動に対しては画像
の４隅の局所領域間での対応点（少なくとも３点）抽出
で十分である。対応点抽出用アルゴリズムとして代表的
なものには、画像中の各点を中心とする所定サイズのブ
ロックに分割し、ブロック間の相互相関値が最大となる
点どうしを対応点とする方式等がある。位置合わせのた
めには背景部分が両者間で所定割合以上で重なり合うこ
と、一般的には抽出対象の画像領域を除いた背景部分の
重なり合う面積が両画像間で５割以上あること等が目安
となる。但し、重なり面積の割合の最低値は、背景画像
のパターンに応じて可変であることはいうまでもない。
特に、背景と被写体の領域分離が比較的容易な場合、例
えば背景が無地に近い場合は、或いは周期パターン等を
有し、かつ抽出被写体がそれとは明白に異なるパターン
を有する場合等は重なり面積は著しく小さくてもよい。When the image pickup modes are the same in both images, that is, when the environmental conditions are not changed, it can be said that the conversion of the luminance value and the color component is generally unnecessary. Image signal characteristic parameters, that is, gain, white balance characteristic,
The gamma characteristic changes. Therefore, when at least one change width of these characteristic values exceeds a certain threshold value, the brightness and color components are determined based on the difference between the parameter characteristic values recorded in the predetermined memory at each point in the background image and the image including the subject. The conversion is performed so as to correspond to the characteristic value of the image including the subject. The processing by each of the above means will be described below. Note that the conversion processing in the image data conversion means 9 is performed in the order of scaling conversion, alignment, brightness conversion, and color component conversion when the variation of each parameter is relatively small, as shown in FIG. However, this is not limited to the case where the imaging mode equalization control is canceled by the imaging parameter setting means 20, as shown in FIG.
With the exception of alignment, the conversion order setting means 96 performs conversion in the order of items having the largest variation. Scaling conversion means 9
Reference numeral 4 converts the background image so as to have the same visual angle as that of the in-subject image based on the amount of change in magnification between both images. However, it is assumed that the variation in the distance between the imaging recording device 1 and the subject is sufficiently small. If there is no change in the magnification data, the processing here may be omitted and the conversion may be started from the alignment means 93. The brightness value conversion means 91 determines the gain between the background image and the image including the subject, the variation amount of the gamma characteristic, the exposure amount, the discrimination between the outdoors and the room, and the matching of the illumination conditions such as whether or not the strobe is emitted.
The brightness level is converted for each pixel on the basis of a mismatch or the like. The color component conversion means 92 changes the color component based on the white balance characteristic variation amount and the like. Alignment means 93
Is the position of the image capturing and recording apparatus 1 during capturing of two images,
In order to allow a posture variation (camera shake, when the imaging recording apparatus 1 is picked up again, or when the position of the foot is changed a little), corresponding points between both images are extracted and alignment based on the corresponding points is performed. Usually, extraction of corresponding points (at least 3 points) between local regions at four corners of an image is sufficient for fluctuations such as camera shake in a short time. As a typical corresponding point extraction algorithm, there is a method in which each point in the image is divided into blocks of a predetermined size, and the points having the maximum cross-correlation value between the blocks are the corresponding points. is there. For alignment, the background parts should overlap each other at a certain ratio or more, and generally, the overlapping area of the background parts excluding the image area to be extracted should be 50% or more between the two images. Become. However, it goes without saying that the minimum value of the ratio of the overlapping area can be changed according to the pattern of the background image.
In particular, when the background and the subject are relatively easily separated from each other, for example, when the background is close to a solid color, or when the subject has a periodic pattern and the extracted subject has a pattern distinctly different from that, the overlapping area is It may be significantly smaller.

【００５１】次に、画像切り出し処理（Ｓ１１）を説明
する。Next, the image cutting process (S11) will be described.

【００５２】画像切り出し手段１２は、画像データ比較
手段１１からの差分データに対し、平滑化処理（メディ
アンフィルタ等）、統計的処理（色成分偏差、輝度レベ
ル偏差に基づく）を行うことにより背景画像データの変
動の大きい領域から被写体領域を抽出する。位置合わせ
終了（Ｓ８）の段階において、外部端末１６のディスプ
レイ１７又は撮像記録装置１のディスプレイ７に表示さ
れた原画像を見て、操作者は処理領域範囲の限定（例え
ば切り出し対象を含む矩形領域等）を行ってもよい。外
部端末１６から指定する場合には、マウス等の指示選択
手段２１を用いて処理領域を設定し、データ通信制御手
段１３を介してその設定範囲情報を画像データ比較手段
１１に送信する。また、撮像記録装置１のディスプレイ
７がタッチパネル仕様のディスプレイである場合にも外
部端末１６での指示と同様の設定を行う。The image cut-out means 12 performs smoothing processing (median filter etc.) and statistical processing (based on color component deviation and luminance level deviation) on the difference data from the image data comparing means 11 to obtain a background image. A subject region is extracted from a region where the data change is large. At the stage of finishing the alignment (S8), the operator looks at the original image displayed on the display 17 of the external terminal 16 or the display 7 of the imaging recording apparatus 1, and the operator limits the processing area range (for example, a rectangular area including a cutout target). Etc.) may be performed. When the designation is made from the external terminal 16, the processing area is set by using the instruction selection means 21 such as a mouse, and the setting range information is transmitted to the image data comparison means 11 via the data communication control means 13. Further, even when the display 7 of the imaging recording device 1 is a touch panel type display, the same setting as the instruction from the external terminal 16 is performed.

【００５３】以下、図７に基づいて被写体抽出処理の詳
細について説明する。Details of the subject extraction process will be described below with reference to FIG.

【００５４】先ず、画像データ変換後の背景画像Ｉ_b 、
被写体込み画像Ｉ_t のＲ、Ｇ、Ｂ成分及び輝度信号から
色相Ｈ_b 、Ｈ_t 、彩度Ｓ_b 、Ｓ_t 、明度Ｖ_b 、Ｖ_t （イ
ンデクスｂは背景のみの画像、ｔは対象物及び背景が写
った画像を表す）をそれぞれ抽出し、以下の評価関数Ｆ
の値を所定の閾値で２値化して被写体領域と背景領域の
識別及び被写体候補領域の抽出を行う（Ｓ７１）。First, the background image I _b after the image data conversion,
R of the object included the image I _t, G, B component and the hue H _b from the luminance signal, H _t, the saturation S _b, S _t, lightness V _b, V _t (image index b is the background alone, t is the object And an image showing a background) are extracted, and the following evaluation function F
The value of is binarized with a predetermined threshold value to identify the subject region and the background region and to extract the subject candidate region (S71).

【００５５】[0055]

【数１】 ここにα_h 、α_s 、α_v は画像Ｉ_b 、Ｉ_t の各成分のＳ
／Ｎ値又は各画像を所定サイズのブロックに分割した際
の各成分の局所分散値（例えば８×８のサイズに分割し
たブロック領域内の分散値）の関数であり、例えばα_h
＝Ｐ_h （Ｉ_b ）・Ｐ_h （Ｉ_t ）などが用いられる。ここ
にＰ_h （Ｉ）は画像データＩの所定領域における色相成
分に関するＳ／Ｎ値の単調増加関数或いは分散値の単調
減少関数（逆数など）を表す。同様にしてＰ_s （Ｉ）、
Ｐ_v （Ｉ）として彩度、明度に関するパラメータが定義
される。領域中各点の判別用閾値Ｔの設定は大津の方法
（電子情報通信学会論文誌、ｖｏｌ．Ｊ６３，ｐｐ．３
４９−３５６，１９８０）などを評価関数の各項、即
ち、（Ｈ_b −Ｈ_t ）² 、（Ｓ_b −Ｓ_t ）² 、（Ｖ_b −Ｖ
_t ）² それぞれについて適用して、Ｔ_h 、Ｔ_s 、Ｔ_v を
得たとすると、Ｔ＝Ｔ_h ＋Ｔ_s ＋Ｔ_v としてもよい。な
お、以上の評価関数及び各パラメータはそれぞれの上記
した定義に限定されるものではない。また閾値そのもの
は予め与えた値で画像全領域にわたって一定としてもよ
い。[Equation 1] Here α _h, α _s, α _v is the image I _b, of each component of I _t S
/ N value or a function of a local variance value of each component when each image is divided into blocks of a predetermined size (for example, a variance value in a block area divided into a size of 8 × 8), for example α _h
= P _h (I _b ) · P _h (I _t ) and the like are used. Here, P _h (I) represents a monotonically increasing function of the S / N value or a monotonically decreasing function of the variance value (inverse number or the like) regarding the hue component in the predetermined region of the image data I. Similarly, P _s (I),
Parameters relating to saturation and lightness are defined as P _v (I). The setting of the threshold value T for discriminating each point in the area is performed by Otsu's method (Journal of the Institute of Electronics, Information and Communication Engineers, vol. J63, pp. 3).
49-356,1980) each term of the evaluation function, etc., ^{_{i.e., (H b -H t) 2}} , (S b -S t) 2, (V b -V
_If it is applied to each of _t ) ² to obtain T _h , T _s , and T _v , T = T _h + T _s + T _v may be used. The above evaluation function and each parameter are not limited to the above definitions. The threshold value itself may be a value given in advance and may be constant over the entire image area.

【００５６】次に、画像切り出し手段１２は、切り出し
対象物によって背景上に生じる陰影の除去処理を行う
（Ｓ７２）。原画像とともに抽出候補領域及び陰影候補
領域のラベル画像をディスプレイ７に表示し、操作者は
これを見て陰影領域の判定及び除去すべき領域の指示を
行う。Next, the image cutting-out means 12 carries out a process of removing the shadow generated on the background by the cut-out object (S72). The label images of the extraction candidate area and the shadow candidate area are displayed on the display 7 together with the original image, and the operator views the label images to determine the shadow area and specify the area to be removed.

【００５７】前記ステップＳ７２までの処理の結果、被
写体候補（複数可）、陰影候補（複数可）と判定された
連結領域をラベル付けし、ディスプレイ１７上にそれぞ
れ異なる色、輝度値、又はハッチングパターンでの表
示、或いは点滅表示等を行ってマスク候補画像データと
して表示する。この際、連結領域内の孤立領域、即ち背
景の塊状領域を同一被写体領域と見放してそれを取り囲
む被写体領域と同一のラベルに自動変換してもよい。こ
のようにして抽出領域のマスクデータの作成及び抽出処
理が行われる（Ｓ７３）。以上の処理の結果、操作者が
初めに抽出すべき被写体領域の一つをマウスなどの指示
選択手段２１を用いて抽出領域を指示すると、背景など
を除去した被写体画像のみがディスプレイ１７上に表示
される。撮像記録装置１のユーザインタフェース機能と
してその抽出画像データで問題なければ、確認の指示を
与えることができるようにしてもよい（特に静止画切り
出しの場合）。例えば確認用のアイコンメニューの選
択、キーボード又は音声による指示（音声認識手段を備
えた撮像記録装置１）で行えばよい。As a result of the processing up to step S72, the connected regions determined to be the subject candidate (s) and the shadow candidate (s) are labeled, and different colors, luminance values, or hatching patterns are displayed on the display 17. Is displayed, or blinking is displayed and displayed as mask candidate image data. At this time, an isolated area in the connected area, that is, a background block area may be regarded as the same subject area and automatically converted into the same label as the surrounding subject area. In this way, the mask data of the extraction region is created and the extraction process is performed (S73). As a result of the above processing, when the operator designates one of the subject regions to be extracted first using the designation selecting means 21 such as a mouse to designate the extraction region, only the subject image from which the background is removed is displayed on the display 17. To be done. If there is no problem with the extracted image data as a user interface function of the imaging recording device 1, a confirmation instruction may be given (especially in the case of still image cutout). For example, the confirmation may be performed by selecting an icon menu for confirmation, an instruction by a keyboard or a voice (the imaging recording device 1 having a voice recognition unit).

【００５８】特定被写体の切り出す際の処理領域の設定
を図８及び図９を参照して説明する。図８は本撮像記録
システムの外観図、図９は撮像記録装置１のディスプレ
イ７の拡大図である。図８及び図９のディスプレイ７、
１７上の画面は、特定被写体の切り出し撮像処理時に現
れるメニュ画面の一例と実際に撮像された被写体とを表
示している。枠で囲われた文字（撮像、圧縮記録、切り
出し）は動作モードを表し、これを指示選択手段２１で
選択すると、所望の動作モードに入る。また、同図では
被写体抽出モードであることを表示し、かつ切り出し動
作の処理範囲設定モードにあることを示している。実線
の枠は選択されたモード、点線で示される枠は非選択モ
ードを示す。これら動作メニュは各動作モードに応じて
異なる表示がなされる。図９に示すように、外部端末１
６に付属の指示選択手段２１を用いて処理領域４０の設
定（抽出対象の指定）などを行い、そのデータをアンテ
ナ１３ａを介して撮像記録装置１に送信してもよく、図
９に示すように、撮像記録装置１のディスプレイ７上で
指示選択手段２１を用いて処理領域４０の設定を行って
もよい。The setting of the processing area when cutting out a specific subject will be described with reference to FIGS. 8 and 9. FIG. 8 is an external view of the present imaging / recording system, and FIG. 9 is an enlarged view of the display 7 of the imaging / recording apparatus 1. The display 7 of FIGS. 8 and 9;
The screen on 17 displays an example of a menu screen that appears during the image capturing process of the specific subject and the actually captured subject. The characters surrounded by a frame (imaging, compression recording, clipping) represent the operation mode, and when this is selected by the instruction selection means 21, the desired operation mode is entered. Further, in the figure, it is displayed that the subject is in the extraction mode, and that it is in the processing range setting mode of the clipping operation. The solid line frame indicates the selected mode, and the dotted line frame indicates the non-selected mode. These operation menus are displayed differently according to each operation mode. As shown in FIG. 9, the external terminal 1
6 may be used to set the processing area 40 (specify the extraction target) using the instruction selection means 21 attached to the apparatus 6, and the data may be transmitted to the imaging recording apparatus 1 via the antenna 13a, as shown in FIG. In addition, the processing area 40 may be set by using the instruction selection unit 21 on the display 7 of the imaging recording apparatus 1.

【００５９】次に、符号化記録手段６による切り出し画
像の圧縮符号化処理を図１０及び図１１を参照して説明
する。図１０は圧縮符号化処理を説明するための図、図
１１は切り出し画像の圧縮符号化処理を示すフローチャ
ートである。Next, the compression encoding processing of the cut-out image by the encoding recording means 6 will be described with reference to FIGS. 10 and 11. FIG. 10 is a diagram for explaining the compression encoding process, and FIG. 11 is a flowchart showing the compression encoding process of the cutout image.

【００６０】ここでは切り出し画像に外接する処理領域
として例えば矩形領域１００を設定し、その中で切り出
し領域のマスク以外の点についてはゼロ値を付与する。
またマスクデータＰ（ｉ、ｊ）として矩形領域１００内
の各点に０又は１の値（１は抽出画素、０は非抽出画
素）を作成、記録する。圧縮率を向上させる為の切り出
し画像特有の圧縮符号化法の一例を説明する。先ず抽出
画素の総数をＭ、Ｍ^0.5の整数部をｍとすると、（ｍ＋
１）ｘ（ｍ＋１）の正方領域１０１を設定する。図１０
に示すように、矩形領域１００の左上隅から右下隅へ向
かって各行ごとに走査して見出された抽出画素を順次、
正方領域１０１上の左上隅（１、１）から右下隅（ｎ、
ｎ）まで配列し直す。次に、この正方領域１０１の画像
を通常の手法（ＤＣＴ符号化など）により圧縮を行う
が、この圧縮方法は特定方式に限定されるものではな
い。再生時には、正方領域１０１の圧縮画像データを通
常の手順で解凍（復元）した後、マスクデータに従って
各点を順に適切な画素位置に再配列する。即ち、抽出画
素を表すマスク位置（ｉ、ｊ）が上述した走査手順にお
いてｘ番目であるとすると、このｘ番目の画素は正方領
域１０１のｘ＋１，ｍｏｄ（ｍ＋１）列、ｉｎｔ［（ｘ
＋１）／（ｍ＋１）］行（ｉｎｔ［Ｘ］はＸの整数部を
表す）の位置にある画素に相当する。従ってマスク上の
各抽出画素の画像データを解凍された正方領域１０１の
対応する点から抽出して配置すればよい。Here, for example, a rectangular area 100 is set as a processing area circumscribing the cutout image, and zero points are given to points other than the mask in the cutout area.
A value of 0 or 1 (1 is an extracted pixel, 0 is a non-extracted pixel) is created and recorded at each point in the rectangular area 100 as the mask data P (i, j). An example of a compression encoding method peculiar to a cutout image for improving the compression rate will be described. First, if the total number of extracted pixels is M and the integer part of M ^0.5 is m, (m +
1) Set a square area 101 of x (m + 1). FIG.
, The extracted pixels found by scanning for each row from the upper left corner to the lower right corner of the rectangular area 100 are sequentially
The upper left corner (1, 1) to the lower right corner (n,
Rearrange to n). Next, the image of the square area 101 is compressed by a usual method (DCT encoding or the like), but this compression method is not limited to a specific method. At the time of reproduction, the compressed image data of the square area 101 is decompressed (decompressed) by a normal procedure, and then each point is rearranged in order to an appropriate pixel position according to the mask data. That is, assuming that the mask position (i, j) representing the extracted pixel is the x-th pixel in the above-described scanning procedure, the x-th pixel is the x + 1, mod (m + 1) column, int [(x
+1) / (m + 1)] row (int [X] represents the integer part of X). Therefore, the image data of each extracted pixel on the mask may be extracted from the corresponding points of the decompressed square area 101 and arranged.

【００６１】図１１のフローチャートに示すように、先
ず、処理領域として例えば矩形領域１００をマウスなど
の指示選択手段２１を用いて設定し（Ｓ１１１）、次に
前述した様に矩形領域１００を走査して抽出領域のマス
クデータを作成し、抽出画素数のカウントを行う（Ｓ１
１２）。ここで一旦マスクデータを所定の記憶手段に記
録し（Ｓ１１３）、総画素数を基に正方領域１０１のサ
イズを決定する（Ｓ１１４）。次に、走査方向順に抽出
画素のデータ（輝度、色成分）を正方領域１０１内に同
一走査方向順で配列する（Ｓ１１５）。このようにして
得られる正方領域１０１内の画像データに、符号化記録
手段６は、圧縮処理（Ｓ１１６）を施し、各圧縮デー
タ、マスクデータを記録媒体に記録する（Ｓ１１７）。As shown in the flowchart of FIG. 11, first, for example, a rectangular area 100 is set as a processing area using the instruction selecting means 21 such as a mouse (S111), and then the rectangular area 100 is scanned as described above. To create mask data for the extraction region and count the number of extracted pixels (S1
12). Here, the mask data is once recorded in a predetermined storage means (S113), and the size of the square area 101 is determined based on the total number of pixels (S114). Next, the extracted pixel data (luminance, color components) are arranged in the same area in the same scanning direction in the square area 101 in the order of the scanning direction (S115). The encoding / recording means 6 performs a compression process (S116) on the image data in the square area 101 thus obtained, and records each compressed data and mask data on a recording medium (S117).

【００６２】なお、更にＤＣＴ符号化などを用いる際、
圧縮率を切り出し画像サイズ（例えば上記ｍ又は切り出
し画像に外接する矩形領域１００の面積など）に応じて
変えてもよい。また圧縮率を他の画像と合成する際の切
り出し画像のサイズが既知の場合、そのサイズに応じて
変えてもよい。これは外部端末１６から撮像記録装置１
をオンラインで制御し、かつ切り出し処理を行ってその
場で画像の合成、編集処理を行う場合に好適である。When using DCT coding or the like,
The compression ratio may be changed according to the cut-out image size (for example, m or the area of the rectangular region 100 circumscribing the cut-out image). In addition, when the size of the clipped image when the compression rate is combined with another image is known, the compression ratio may be changed according to the size. This is from the external terminal 16 to the imaging recording device 1
Is suitable for controlling images online and performing cutout processing to synthesize and edit images on the spot.

【００６３】このようにして圧縮符号化されたデータ
は、符号化記録手段６に記録される。この時、付帯情報
として被写体名称、原画像の撮像時刻、場所、撮影者の
名前などをデータファイルのヘッダ部などに記録しても
よい。更に撮像条件及び撮像時の結像光学系のデータな
どを記録してもよい。また切り出された対象画像が同一
画面上に複数存在する場合にはシーンの構図情報として
相対位置ベクトル又は各マスク（抽出被写体）の中心位
置を画面サイズで規格化した値として記録する。図１
２、１３に圧縮画像データの記録フォーマットの例を示
す。図１２では各切り出し対象ごとに圧縮符号化ファイ
ルを作成する場合の例であり、付帯データをヘッダ部に
固定ビット長で記録し、圧縮画像データを記録する。図
１３は切り出しを行ったシーン中に複数の抽出対象画像
がある場合の記録形式の一例である。ここではヘッダフ
ァイルを作成し、ここに一括して付帯情報、特にシーン
の名称、各対象間の配置関係、構図情報を記録する。各
圧縮データファイルにはマスクデータも併せて記録され
る。The data compression-encoded in this way is recorded in the encoding recording means 6. At this time, the subject name, the time when the original image was taken, the place, the name of the photographer, and the like may be recorded as additional information in the header portion of the data file or the like. Further, the imaging condition and data of the imaging optical system at the time of imaging may be recorded. When a plurality of cut-out target images are present on the same screen, the relative position vector or the center position of each mask (extracted subject) is recorded as a value standardized by the screen size as the composition information of the scene. FIG.
2 and 13 show examples of the recording format of compressed image data. FIG. 12 shows an example in which a compression-encoded file is created for each cut-out target, and the supplementary data is recorded in the header portion with a fixed bit length, and the compressed image data is recorded. FIG. 13 is an example of a recording format when there are a plurality of extraction target images in the cut out scene. Here, a header file is created, and additional information is recorded here collectively, in particular, scene names, arrangement relationships between objects, and composition information. Mask data is also recorded in each compressed data file.

【００６４】このような上記実施の形態によれば、以下
の効果が得られる。According to the above embodiment, the following effects can be obtained.

【００６５】(1) 撮像した画像のうち必要とされる対
象画像のみを圧縮符号化して記録するので、対象画像の
抽出を目的とした撮像における記録容量の大幅な節減が
可能となる。(1) Since only the required target image among the captured images is compressed and encoded and recorded, it is possible to significantly reduce the recording capacity in image capturing for the purpose of extracting the target image.

【００６６】(2) 対象画像とともにその付帯情報をも
圧縮符号化して記録するので、対象画像を複数切り出し
た場合に、他の画像シーンにおいてそれらと背景とを互
いに位置関係を保持しながら合成することが可能とな
る。(2) Since the target image and its incidental information are also compression-encoded and recorded, when a plurality of target images are cut out, they are combined with the background in other image scenes while maintaining their positional relationship with each other. It becomes possible.

【００６７】(3) 撮像記録装置１が指示選択手段２１
と画像切り出し手段１２の両方を具備することにより、
対象画像の指定から切り出しまでの処理を撮影の現場で
外部端末１６等を用いずに一貫して行うことが可能とな
る。(3) The image pickup recording apparatus 1 has the instruction selecting means 21.
By including both the image cropping unit 12 and the image cropping unit 12,
It is possible to consistently perform the processing from the designation of the target image to the cutout at the shooting site without using the external terminal 16 or the like.

【００６８】(4) 撮像手段で撮像した被写体込み画像
及び背景画像を基に被写体画像を切り出すことにより、
撮像記録装置１において画像の切り出し処理の一部又は
全てを行うことが可能となる。また、対象画像の指定情
報を外部から受信する受信手段及び圧縮符号化されたデ
ータを外部へ送信する送信手段としてのデータ通信制御
手段１３を備えることにより、撮像記録装置１に対する
制御を外部の装置から遠隔的に行うことが可能となり、
切り出した画像データ等を外部の装置へ転送することが
可能となる。(4) By cutting out the subject image based on the subject-included image and the background image picked up by the image pickup means,
It is possible for the imaging recording apparatus 1 to perform part or all of the image cutout processing. Further, by providing the data communication control means 13 as a receiving means for receiving the designation information of the target image from the outside and a transmitting means for transmitting the compression-coded data to the outside, the control of the imaging recording apparatus 1 is performed by the external apparatus. Can be done remotely from
It is possible to transfer the cut-out image data and the like to an external device.

【００６９】(5) 切り出された対象画像のサイズに応
じて圧縮符号化率を変更することにより、切り出し画像
の全画面サイズに対する相対比が小さい（切り出し画像
サイズが小さい）ときは低い圧縮率、相対比が大きい
（切り出し画像サイズが大きい）ときは高い圧縮率で符
号化、記録するなど圧縮率を適応的に設定して切り出し
画像の画質を損なわずに符号化量の変動が少ない切り出
し画像の圧縮記録が可能となる。(5) By changing the compression coding rate according to the size of the clipped target image, a low compression rate is obtained when the relative ratio of the clipped image to the entire screen size is small (the clipped image size is small), When the relative ratio is large (the clipped image size is large), the compression rate is adaptively set such as encoding and recording at a high compression rate, and the encoding amount does not fluctuate without impairing the image quality of the clipped image. Compressed recording is possible.

【００７０】(6) 対象画像のマスクデータを作成し、
このマスク内の画像データを走査して順次正方領域１０
１に配列し直した後、この正方領域１０１内の画像デー
タを圧縮符号化することにより、切り出し画像の圧縮効
率を高めることが可能となる。(6) Create mask data for the target image,
The image data in this mask is scanned and the square area 10 is sequentially scanned.
After rearranging to 1, the image data in the square area 101 is compression-encoded, so that the compression efficiency of the clipped image can be improved.

【００７１】(7) 互いに通信可能な撮像記録装置１と
外部端末１６とを有しているので、外部端末１６から撮
像記録装置１を遠隔的に制御することができるので、切
り出し処理の効率と外部端末１６への伝送効率を向上さ
せることが可能となる。(7) Since the image pickup recording apparatus 1 and the external terminal 16 which can communicate with each other are provided, the image pickup recording apparatus 1 can be remotely controlled from the external terminal 16, and the efficiency of the cutout process is improved. It is possible to improve the transmission efficiency to the external terminal 16.

【００７２】図１４は本発明の撮像記録システムの他の
実施の形態を示す要部構成図である。FIG. 14 is a main part configuration diagram showing another embodiment of the image pickup recording system of the present invention.

【００７３】本実施の形態は、切り出し処理を動的輪郭
画像抽出手段３０及び背景画像抽出手段３１により行う
ようにし、動的輪郭法を活用した輪郭（背景との境界）
線抽出により特定対象の画像切り出しと背景画像抽出を
行った後、撮像記録装置１又は撮像記録装置１と接続し
た外部端末１６において圧縮符号化と記録を行うもので
あり、その他の構成は前実施の形態と同様である。In this embodiment, the clipping processing is performed by the dynamic contour image extracting means 30 and the background image extracting means 31, and the contour (boundary with the background) utilizing the dynamic contour method is used.
After the image extraction of the specific object and the background image extraction are performed by the line extraction, the compression recording and the recording are performed in the imaging recording device 1 or the external terminal 16 connected to the imaging recording device 1, and other configurations are performed before. It is similar to the form.

【００７４】次に、本実施の形態の基本動作を図１５の
フローチャートに従って説明する。Next, the basic operation of this embodiment will be described with reference to the flowchart of FIG.

【００７５】撮像を開始し（Ｓ１５１）、初期輪郭の設
定を行う（Ｓ１５２）。この初期輪郭設定は、撮像記録
装置１又は外部端末１６に付属の指示選択手段２１を用
いて行うことができる。典型的には抽出対象を包囲し、
かつその輪郭線形状と概略一致するような輪郭線（閉曲
線）、又は抽出対象の内部にあり、かつ対象の輪郭線形
状と概略一致するような輪郭線が望ましい。動的輪郭法
においては、輪郭が移動、変形して最終的に対象物の外
形に収束する。代表的には各点の座標を記述するための
パラメータｓを用いて表される輪郭線ｖ（ｓ）＝（ｘ
（ｓ），ｙ（ｓ））に対し、以下の評価関数Imaging is started (S151) and the initial contour is set (S152). This initial contour setting can be performed by using the instruction selection unit 21 attached to the imaging recording apparatus 1 or the external terminal 16. Typically surrounds the extraction target,
A contour line (closed curve) that substantially matches the contour line shape, or a contour line that is inside the extraction target and that substantially matches the target contour line shape is desirable. In the active contour method, the contour moves, deforms, and finally converges on the outline of the object. A contour line v (s) = (x, which is typically represented using a parameter s for describing the coordinates of each point
The following evaluation function for (s), y (s))

【００７６】[0076]

【数２】 を算出し（Ｓ１５３）、これを最小にする輪郭線形状ｖ
（ｓ）を輪郭線上のサンプリング点位置を更新（Ｓ１５
４）して求める。ここに[Equation 2] Is calculated (S153), and the contour line shape v that minimizes this is calculated.
(S) Update the sampling point position on the contour line (S15
4) Then ask. here

【００７７】[0077]

【数３】 (Equation 3)

【００７８】[0078]

【数４】 Ｉ（ｖ（ｓ））はｖ（ｓ）上の輝度レベルを表し、α
（ｓ）、β（ｓ）、ｗ０は操作者が適宜定める。このよ
うに輪郭線に関して定めた評価関数（上記関数に限らな
い）が最小となるように（収束判定；Ｓ１５５）輪郭線
上の各点の位置の更新を繰り返して最終的に対象の輪郭
線（背景との境界）が求まる。本実施の形態では収束
（輪郭線上の各点を更新してもそれらの位置の変化が一
定基準値以下となった場合）後の輪郭線形状をディスプ
レイ１７（又は７）上に表示して、細部の輪郭線形状の
誤差発生部分（正しく原画像の輪郭線上に収束しなかっ
た部分）の補正を指示選択手段２１を用いて行う（Ｓ１
５６）。具体的には修正すべき輪郭線上の点を指示選択
手段２１で選択し、次に正しい位置を指示するとその点
の位置が変更され、かつ更新された点の近傍の点もこれ
と滑かに接続するように位置が更新される。[Equation 4] I (v (s)) represents the luminance level on v (s), and α
The operator appropriately determines (s), β (s), and w0. In this way, the position of each point on the contour line is repeatedly updated so that the evaluation function defined for the contour line (not limited to the above function) is minimized (convergence determination; S155), and finally the target contour line (background The boundary) is obtained. In the present embodiment, the contour line shape after convergence (when the change in the position of each point on the contour line becomes equal to or less than a certain reference value even if updated) is displayed on the display 17 (or 7), The instruction selecting means 21 is used to correct the detail contour line error generation portion (portion that does not correctly converge on the contour line of the original image) (S1).
56). Specifically, when the point on the contour line to be corrected is selected by the instruction selecting means 21 and then the correct position is instructed, the position of the point is changed, and the points in the vicinity of the updated point also slide smoothly. The location is updated to connect.

【００７９】本実施の形態では特に、切り出し画像の圧
縮及び背景画像（一枚）の圧縮を独立して行う。背景画
像は抽出対象を除去して撮像して得てもよいし、抽出さ
れた被写体が運動している場合には背景の見える部分
（即ち、切り出し後の残りの画像）の画像情報を順次時
系列的に論理和演算などにより統合して一枚の背景画像
を求め、圧縮符号化する（Ｓ１６０）。これにより最終
的に得られる画像データは動く被写体の場合は一枚の背
景画像と被写体のみの時系列画像データとなる。その
際、撮像記録装置１の位置、姿勢の変更を伴う単調なカ
メラ操作（パンニングなど）を行ってもよい。いま簡単
のためにカメラを水平方向に一定速度で移動したとする
と、移動方向に対して略直交方向の背景画像の端の一列
分の画像データを抽出して記録することにより、全ての
背景画像の統合、合成データから適切な背景画像データ
を抽出して、抽出被写体との正しい合成画像をより簡便
に求めることができる（Ｓ１５８）。なお、背景画像と
切り出し画像のフレーム番号又は時間インデクスが一致
するように記録することにより、背景との合成処理が更
に容易となる。Particularly in the present embodiment, the compression of the cut-out image and the compression of the background image (one image) are performed independently. The background image may be obtained by removing the object to be extracted, and when the extracted subject is moving, the image information of the visible portion of the background (that is, the remaining image after clipping) is sequentially obtained. One background image is obtained by serially integrating by logical OR operation or the like, and compression-encoded (S160). As a result, the image data finally obtained becomes time series image data of only one background image and the subject in the case of a moving subject. At that time, a monotonous camera operation (panning or the like) accompanied by a change in the position and orientation of the image recording device 1 may be performed. Assuming that the camera is moved horizontally at a constant speed for the sake of simplicity, by extracting and recording one row of image data at the end of the background image in a direction substantially orthogonal to the moving direction, all background images are recorded. , The appropriate background image data can be extracted from the combined data, and a correct combined image with the extracted subject can be obtained more easily (S158). By recording the background image and the clipped image so that the frame numbers or time indexes of the images match, the process of combining with the background becomes easier.

【００８０】図１６にこの場合の背景画像の抽出手段３
１の処理ステップを示す。先ず、背景画像を切り出し処
理の結果に基づいて抽出する（Ｓ１６１）。次に当該フ
レームの背景画像の最終的に得られる全体背景画像中の
位置情報を表す一次元画像データ（端の一行、一列分の
画像データなど）をフレーム番号とともに記録する（Ｓ
１６２）。更に前フレームで抽出された背景画像との統
合又は合成処理を行い（Ｓ１６３；論理和演算などによ
る）、フレーム番号チェック（Ｓ１６４）を行って最終
フレームでなければ、以上の処理を繰り返す。また最終
フレームで統合された一枚の背景画像を圧縮符号化する
（Ｓ１６５）。この処理は画像の切り出し方式に依存し
ないことはいうまでもない。FIG. 16 shows the background image extracting means 3 in this case.
The first processing step is shown. First, the background image is extracted based on the result of the clipping process (S161). Next, one-dimensional image data (image data for one end, one column, etc.) representing the position information in the finally obtained overall background image of the background image of the frame is recorded together with the frame number (S).
162). Further, integration or combination processing with the background image extracted in the previous frame is performed (S163; by OR operation), frame number check (S164) is performed, and if it is not the final frame, the above processing is repeated. Also, one background image integrated in the final frame is compression-encoded (S165). It goes without saying that this processing does not depend on the image cutting method.

【００８１】輪郭線形状が正しく求まると抽出被写体の
画面内位置、複数ある場合にはそれらの配置関係、即ち
構図情報が抽出される（Ｓ１５７）。更に、輪郭内の切
り出し対象の画像を圧縮、符号化し、付帯情報を加えて
前実施の形態と同様に記録する（Ｓ１５９）。When the contour line shape is correctly obtained, the positions of the extracted subject on the screen, and if there are a plurality of them, the positional relationship between them, that is, the composition information is extracted (S157). Further, the image to be cut out within the contour is compressed and encoded, and additional information is added and recorded as in the previous embodiment (S159).

【００８２】なお、前実施の形態の手法（背景のみの画
像を撮像しておいて後から被写体込み画像との差分デー
タに基づいて画像切り出しを行う方法）を用いて得られ
る抽出対象領域の境界線を初期輪郭として定め、動く対
象の切り出しを動的輪郭法を用いて行ってもよい。The boundary of the extraction target area obtained by using the method of the previous embodiment (a method in which an image of only the background is picked up and then the image is cut out based on the difference data from the image including the subject) A line may be defined as an initial contour, and a moving object may be cut out using the active contour method.

【００８３】このような上記実施の形態によれば、所定
の評価関数が最小となるように、対象画像を包囲する輪
郭線上の各サンプリング点の移動を行うことにより、一
枚の撮影画像から特定被写体の切り出しと記録を一貫し
て撮像記録装置１内で行うことが可能となる。また、動
画像のうち背景画像を順次時系列的に統合して一枚の背
景画像を生成し、その一枚の背景画像を圧縮符号化して
いるので、画像の合成用データとしての背景画像を時系
列的に記録する必要がなくなり、画像の記録効率が高ま
るので、動画切り出しを行う際に後で合成に用いる背景
画像記録効率を飛躍的に高めることが可能となる。According to the above-described embodiment, the sampling points on the contour line surrounding the target image are moved so that the predetermined evaluation function is minimized, so that the image can be identified from one captured image. It is possible to consistently cut out and record a subject in the imaging recording apparatus 1. Further, the background images of the moving images are sequentially integrated in time series to generate one background image, and the one background image is compression-encoded. Since it is not necessary to record in time series and the recording efficiency of the image is improved, it is possible to dramatically improve the recording efficiency of the background image used for composition later when the moving image cutout is performed.

【００８４】[0084]

【発明の効果】以上詳述した本発明の撮像記録装置によ
れば、撮像した画像のうち必要とされる対象画像のみを
圧縮符号化して記録するので、対象画像の抽出を目的と
した撮像における記録容量の大幅な節減が可能となる。According to the image-pickup recording apparatus of the present invention described in detail above, only the required target image of the picked-up images is compression-coded and recorded, so that in the image pickup for the purpose of extracting the target image. It is possible to significantly reduce the recording capacity.

【００８５】また、本発明の撮像記録システムによれ
ば、撮像した画像のうち必要とされる対象画像のみを圧
縮符号化して記録するので、対象画像の抽出を目的とし
た撮像における記録容量の大幅な節減が可能となり、ま
た、互いに通信可能な撮像装置と外部端末とを有してい
るので、外部端末から撮像記録装置を遠隔的に制御する
ことができ、圧縮符号化したデータを外部端末に転送す
ることができるので、切り出し処理の効率と外部端末へ
の伝送効率を向上させることが可能となる。Further, according to the image-capturing / recording system of the present invention, only the required target image among the captured images is compressed and encoded and recorded, so that the recording capacity in the image-capturing for the purpose of extracting the target image is significantly increased. Since it has an imaging device and an external terminal that can communicate with each other, the imaging recording device can be remotely controlled from the external terminal, and compression-coded data can be sent to the external terminal. Since the data can be transferred, the efficiency of the clipping process and the transmission efficiency to the external terminal can be improved.

【図面の簡単な説明】[Brief description of drawings]

【図１】本実施の形態システムの外観図である。FIG. 1 is an external view of a system according to this embodiment.

【図２】本実施の形態システムのブロック図である。FIG. 2 is a block diagram of a system according to the present embodiment.

【図３】本実施の形態システムの動作を説明するための
図である。FIG. 3 is a diagram for explaining the operation of the system according to the present embodiment.

【図４】本実施の形態システムの撮像から画像切り出し
までの基本動作を示すフローチャートである。FIG. 4 is a flowchart showing a basic operation of the system of the present embodiment from imaging to image clipping.

【図５】画像データ変換手段の要部構成図である。FIG. 5 is a configuration diagram of a main part of an image data conversion unit.

【図６】画像データ変換手段の要部構成図である。FIG. 6 is a main part configuration diagram of an image data conversion unit.

【図７】画像切り出し処理の詳細を示すフローチャート
である。FIG. 7 is a flowchart showing details of image cutout processing.

【図８】画像を切り出す際の処理領域の設定を説明する
ためのシステムの外観図である。FIG. 8 is an external view of a system for explaining setting of a processing area when cutting out an image.

【図９】画像を切り出す際の処理領域の設定を説明する
ための撮像記録装置のディスプレイの拡大図である。FIG. 9 is an enlarged view of the display of the imaging recording apparatus for explaining the setting of the processing area when cutting out an image.

【図１０】圧縮符号化処理を説明するための図である。FIG. 10 is a diagram for explaining compression encoding processing.

【図１１】圧縮符号化処理の詳細を示すフローチャート
である。FIG. 11 is a flowchart showing details of compression encoding processing.

【図１２】切り出し画像の符号化フォーマットの一例を
示す図である。FIG. 12 is a diagram illustrating an example of a coding format of a cutout image.

【図１３】切り出し画像の符号化フォーマットの一例を
示す図である。FIG. 13 is a diagram illustrating an example of a coding format of a cutout image.

【図１４】他の実施の形態システムの外観図である。FIG. 14 is an external view of a system according to another embodiment.

【図１５】他の実施の形態システムの切り出し処理の詳
細を示すフローチャートである。FIG. 15 is a flowchart showing details of cutout processing of a system according to another embodiment.

【図１６】他の実施の形態システムの背景画像の圧縮処
理の詳細を示すフローチャートである。FIG. 16 is a flowchart showing details of background image compression processing of the system of another embodiment.

【符号の説明】[Explanation of symbols]

１ 撮像記録装置 ２ 結像光学系 ３ レンズモータ駆動制御部 ４ イメージセンサ ６ 符号化記録手段 ７、１７ ディスプレイ １２ 画像切り出し手段 １３ データ通信制御手段 １４ ストロボ発光手段 １５ 撮像動作制御手段 １６ 外部端末 １８ 画像データベース ２１ 指示選択手段 1 Imaging Recording Device 2 Imaging Optical System 3 Lens Motor Drive Control Section 4 Image Sensor 6 Encoding Recording Means 7, 17 Display 12 Image Cutout Means 13 Data Communication Control Means 14 Strobe Light Emitting Means 15 Imaging Operation Control Means 16 External Terminals 18 Images Database 21 Instruction selection means

Claims (11)

【特許請求の範囲】[Claims] 【請求項１】 画像を撮像する撮像手段と、この撮像手
段により撮像された画像から対象画像を切り出す画像切
り出し手段と、この画像切り出し手段により切り出され
た対象画像を圧縮符号化して記録する符号化記録手段と
を有することを特徴とする撮像記録装置。1. An image pickup unit for picking up an image, an image cutout unit for cutting out a target image from the image picked up by the image pickup unit, and a coding for compressing and recording the target image cut out by the image cutout unit. An image pickup recording apparatus comprising: a recording unit. 【請求項２】 画像を撮像する撮像手段と、この撮像手
段により撮像された画像から対象画像を切り出す画像切
り出し手段と、この画像切り出し手段により切り出され
た対象画像及びその付帯情報を圧縮符号化して記録する
符号化記録手段とを有することを特徴とする撮像記録装
置。2. Image pickup means for picking up an image, image cutout means for cutting out a target image from the image picked up by this image pickup means, and compression coding of the target image cut out by this image cutout means and its accompanying information. An imaging recording device, comprising: an encoding recording device for recording. 【請求項３】 画像を撮像する撮像手段と、この撮像手
段により撮像された画像を表示する表示手段と、この表
示手段の表示画像上で対象画像を含む領域を指示する指
示手段と、この指示手段により指示された領域の画像を
処理して前記対象画像のみを切り出す画像切り出し手段
と、この画像切り出し手段により切り出された対象画像
を圧縮符号化して記録する符号化記録手段とを有するこ
とを特徴とする撮像記録装置。3. An image pickup unit for picking up an image, a display unit for displaying the image picked up by the image pickup unit, an instruction unit for pointing an area including a target image on the display image of the display unit, and this instruction. An image cutting means for processing the image in the area designated by the means and cutting out only the target image; and an encoding / recording means for compressing and coding and recording the target image cut out by the image cutting means. The imaging recording device. 【請求項４】 画像を撮像する撮像手段と、同一の撮像
条件で前記撮像手段により撮像された、対象画像を含む
第１の画像及びその対象画像を含まない第２の画像を基
に第１の画像から対象画像を切り出す画像切り出し手段
と、この画像切り出し手段により切り出された対象画像
を圧縮符号化して記録する符号化記録手段とを有するこ
とを特徴とする撮像記録装置。4. A first image based on a first image including a target image and a second image not including the target image captured by the image capturing unit under the same image capturing condition as an image capturing unit that captures an image. 2. An image pickup recording apparatus, comprising: an image cutout unit that cuts out a target image from the image of 1. and an encoding recording unit that compression-codes and records the target image cut out by the image cutout unit. 【請求項５】 画像を撮像する撮像手段と、対象画像の
指定情報を外部から受信する受信手段と、前記撮像手段
により撮像された画像から前記指定情報に基づいて対象
画像を切り出す画像切り出し手段と、この画像切り出し
手段により切り出された対象画像を圧縮符号化して記録
する符号化記録手段とを有することを特徴とする撮像記
録装置。5. An image pickup means for picking up an image, a receiving means for receiving designation information of a target image from the outside, and an image clipping means for clipping a target image from the image picked up by the image pickup means based on the designation information. And an encoding / recording unit that compresses and encodes and records the target image clipped by the image clipping unit. 【請求項６】 画像を撮像する撮像手段と、この撮像手
段により撮像された画像から対象画像を切り出す画像切
り出し手段と、この画像切り出し手段により切り出され
た対象画像を圧縮符号化して記録する符号化記録手段
と、この符号化記録手段により圧縮符号化されたデータ
を装置外部へ転送する送信手段とを有することを特徴と
する撮像記録装置。6. An image pickup means for picking up an image, an image cutout means for cutting out a target image from the image picked up by the image pickup means, and an encoding for compressing and recording the target image cut out by the image cutout means. An imaging recording apparatus comprising: a recording unit and a transmitting unit that transfers the data compressed and encoded by the encoding and recording unit to the outside of the device. 【請求項７】 前記画像切り出し手段は、所定の評価関
数が最小となるように、対象画像を包囲する輪郭線上の
各サンプリング点の移動を行うことで、対象画像を切り
出すことを特徴とする請求項１、２、３又は４記載の撮
像記録装置。7. The image cutout unit cuts out the target image by moving each sampling point on a contour line surrounding the target image so that a predetermined evaluation function is minimized. Item 1. The image recording apparatus according to item 1, 2, 3 or 4. 【請求項８】 前記符号化記録手段は、前記画像切り出
し手段により切り出された対象画像のサイズに応じて圧
縮符号化率を変更することを特徴とする請求項１、２、
３又は４記載の撮像記録装置。8. The encoding / recording means changes the compression encoding rate according to the size of the target image cut out by the image cutout means.
The imaging recording device according to 3 or 4. 【請求項９】 前記符号化記録手段は、対象画像のマス
クデータを作成し、このマスク内の画像データを走査し
て順次所定の矩形領域に配列し直した後、この矩形領域
内の画像データを圧縮符号化することを特徴とする請求
項１、２、３又は４記載の撮像記録装置。9. The encoding / recording means creates mask data of a target image, scans the image data in the mask, sequentially rearranges the image data in a predetermined rectangular area, and then, the image data in the rectangular area. The image pickup recording apparatus according to claim 1, 2, 3, or 4, wherein 【請求項１０】 動画像を撮像する撮像手段と、この撮
像手段により撮像された動画像のうち背景画像を順次時
系列的に統合して一枚の背景画像を生成する背景画像統
合手段と、前記撮像手段により撮像された動画像から対
象画像のみの時系列画像を切り出す画像切り出し手段
と、前記背景画像統合手段から出力される背景画像及び
画像切り出し手段から出力される対象画像を各々圧縮符
号化して記録することを特徴とする撮像記録装置。10. An image pickup means for picking up a moving image, and a background image integration means for sequentially integrating the background images of the moving images picked up by the image pickup means in time series to generate one background image. An image cutout unit that cuts out a time-series image of only the target image from the moving image captured by the image pickup unit, and a background image output from the background image integration unit and a target image output from the image cutout unit are compression-encoded. An image pickup recording device characterized by recording the image. 【請求項１１】 画像の撮像・記録が可能な撮像記録装
置と、この撮像記録装置との間で通信が可能な外部端末
とを有する撮像記録システムにおいて、 前記外部端末は、撮像条件の制御情報及び対象画像の指
定情報を前記撮像記録装置に送信する送信手段と、前記
撮像記録装置から転送されたデータを記憶する記憶手段
とを備え、 前記撮像記録装置は、前記送信手段から送信された撮像
条件の制御情報に基づいて画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記外部端末か
ら送信された指定情報に基づいて対象画像を切り出す画
像切り出し手段と、前記対象画像を圧縮符号化して記録
する符号化記録手段と、この符号化記録手段により圧縮
符号化されたデータを前記外部端末へ転送して前記記憶
手段に記憶する通信制御手段とを備えることを特徴とす
る撮像記録システム。11. An imaging / recording system having an imaging / recording device capable of imaging / recording an image and an external terminal capable of communicating with the imaging / recording device, wherein the external terminal is control information of imaging conditions. And a transmission unit that transmits the designation information of the target image to the image capturing and recording apparatus, and a storage unit that stores the data transferred from the image capturing and recording apparatus, wherein the image capturing and recording apparatus captures the image transmitted from the transmitting unit. An image pickup means for picking up an image based on the control information of the condition;
An image cutout unit that cuts out a target image from the image picked up by the image pickup unit based on the designation information transmitted from the external terminal, an encoding recording unit that compresses and encodes the target image, and records the encoded image. And a communication control unit that transfers the data compression-encoded by the unit to the external terminal and stores the data in the storage unit.