JP2010081100A - Imaging device, imaging method, and imaging program - Google Patents
Imaging device, imaging method, and imaging program Download PDFInfo
- Publication number
- JP2010081100A JP2010081100A JP2008244833A JP2008244833A JP2010081100A JP 2010081100 A JP2010081100 A JP 2010081100A JP 2008244833 A JP2008244833 A JP 2008244833A JP 2008244833 A JP2008244833 A JP 2008244833A JP 2010081100 A JP2010081100 A JP 2010081100A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- feature
- character
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、例えばデジタルカメラ等の撮像装置に関し、特に被写体を撮影する際の画素数を被写体含まれる、文字等の特徴物に応じて自動的に変更することができる撮像装置、撮像方法及び撮像プログラムに関するものである。 The present invention relates to an imaging device such as a digital camera, and more particularly to an imaging device, an imaging method, and an imaging device that can automatically change the number of pixels when shooting a subject according to a feature such as a character included in the subject. It is about the program.
従来より、撮像装置を用いて風景や建物・記念物、文字、人物等の被写体を撮影することがあった。この際の画素数（解像度）は、ユーザがマニュアル操作でＭＥＮＵ階層の中へ入り画素数を選択して切り替えを行うといった、ユーザ自らが決定する手法が一般的である。例えば、特許文献１には、文字認識モードと通常撮影モードとを切り換えるモード切換手段によって、文字撮影の場合と通常撮影の場合とで設定を換える撮像装置が開示されている。
Conventionally, subjects such as landscapes, buildings / monuments, characters, people, and the like have been photographed using an imaging device. The number of pixels (resolution) at this time is generally determined by the user himself, such as the user manually entering the MENU hierarchy and selecting and switching the number of pixels. For example,
しかしながら、従来のようにユーザがマニュアル操作で画素数を選択して切り替える方法では、画素数の切り替えることなく前回撮影時に選択した画素数のままで撮影を行ってしまうことが多い。このため、カメラの有する最高画素数、例えば１０Ｍにて撮影をしているユーザでは、マニュアルによる切替え作業が面倒なことから、いかなる被写体であろうとも１０Ｍで撮影してしまいがちになり、撮影が最適な設定で行われないことが多い。 However, in the conventional method in which the user selects and switches the number of pixels by manual operation, shooting is often performed with the number of pixels selected at the previous shooting without switching the number of pixels. For this reason, a user who is shooting at the maximum number of pixels of the camera, for example, 10M, tends to shoot at 10M regardless of the subject, because manual switching is troublesome. Often not done with optimal settings.
特に、常に１０Ｍで撮影していると、必要以上にメモリの容量を消費したり、撮影画像をＰＣで確認する場合に画像サイズが大きすぎて取り扱いづらくなるという問題がある。 In particular, if the image is always taken at 10M, there is a problem that the memory capacity is consumed more than necessary, or the image size is too large to be handled when the photographed image is confirmed on the PC.
最近では、被写体として文字を撮影してメモ代わりに使うという方法もあり、こういう場合には、文字が認識できれば足りるため、高画質画像でなくてもよいという要望もある。 Recently, there is a method of photographing a character as a subject and using it instead of a memo. In such a case, it is sufficient that the character can be recognized.
本発明は、かかる従来の課題に鑑みてなされたものであり、例えば、被写体含まれる、文字等の特徴物に応じて最適な画素数を設定することを目的とする。 The present invention has been made in view of such conventional problems, and an object of the present invention is to set an optimal number of pixels in accordance with, for example, a feature such as a character included in a subject.
前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、被写体画像を撮像する撮像手段と、前記撮像手段が撮像する被写体画像から特徴物を検出する検出手段と、前記検出手段によって検出された特徴物に応じて、前記撮像手段が撮像すべき範囲を画素数として設定する画素数設定手段とを備えることを特徴とする。 In order to solve the above-described problem, in the imaging apparatus according to the first aspect of the present invention, an imaging unit that captures a subject image, a detection unit that detects a feature from the subject image captured by the imaging unit, and the detection And a pixel number setting unit that sets a range to be imaged by the imaging unit as the number of pixels according to the feature detected by the unit.
また、請求項２記載の発明に係る撮像装置にあっては、光学的にズームを行う光学ズーム手段と、前記検出手段によって検出された特徴物が、前記撮像手段の撮像画角内に設定された当該特徴物を解析するための画像解析エリアに収まる最大倍率まで前記光学ズーム手段によるズーム処理を行うズーム制御手段と、を更に備えることを特徴とする。 In the image pickup apparatus according to the second aspect of the present invention, the optical zoom means for optically zooming and the characteristic object detected by the detection means are set within the image pickup angle of view of the image pickup means. And zoom control means for performing zoom processing by the optical zoom means up to a maximum magnification that can be accommodated in an image analysis area for analyzing the feature.
また、請求項３記載の発明に係る撮像装置にあっては、前記ズーム制御手段は、前記検出手段によって被写体画像から複数の特徴物を検出した場合、検出した全ての特徴物が前記画像解析エリアに収まる最大倍率まで前記光学ズーム手段によるズーム処理を行うことを特徴とする。
In the image pickup apparatus according to
また、請求項４記載の発明に係る撮像装置にあっては、前記検出手段によって被写体画像から特徴物を検出できない場合又は前記光学ズーム手段によって処理可能なズーム処理範囲を超えている場合には、その旨を報知する報知手段を更に備えることを特徴とする。 Further, in the imaging device according to the invention of claim 4, when the feature cannot be detected from the subject image by the detection means or when the zoom processing range that can be processed by the optical zoom means is exceeded, It is further characterized by further comprising a notifying means for notifying that effect.
また、請求項５記載の発明に係る撮像装置にあっては、前記検出手段によって特徴物を検出できない場合、前記画素数設定手段は画素数をさらに上げ、再び前記検出手段による特徴物の検出を行うよう制御する検出制御手段を更に備えることを特徴とする。 In the imaging device according to the fifth aspect of the invention, when the feature cannot be detected by the detection means, the pixel number setting means further increases the number of pixels, and the detection means detects the feature again. It is further characterized by further comprising detection control means for performing control.
また、請求項６記載の発明に係る撮像装置にあっては、前記検出手段によって検出される特徴物は文字であり、前記検出手段は、文字を検出する文字検出手段を含むことを特徴とする。 In the image pickup apparatus according to the sixth aspect of the present invention, the feature detected by the detection unit is a character, and the detection unit includes a character detection unit that detects a character. .
また、請求項７記載の発明に係る撮像装置にあっては、前記検出手段は、前記被写体画像における画像解析エリア内の特徴物を検出することを特徴とする。 In the image pickup apparatus according to the seventh aspect of the invention, the detection unit detects a feature in an image analysis area in the subject image.
また、請求項８記載の発明に係る撮像方法にあっては、撮像部が撮像する被写体画像から特徴物を検出する検出ステップと、前記検出ステップにて検出された特徴物に応じて、前記撮像手段が撮像すべき範囲を画素数として設定する画素数設定ステップと、を含むことを特徴とする。 In the imaging method according to the eighth aspect of the invention, a detection step of detecting a feature from a subject image captured by an imaging unit, and the imaging according to the feature detected in the detection step And a pixel number setting step of setting a range to be imaged by the means as the pixel number.
また、請求項９記載の発明に係る撮像プログラムにあっては、撮像装置が有するコンピュータを、撮像する被写体画像から特徴物を検出する検出手段、前記検出手段によって検出された特徴物に応じて、当該撮像装置が撮像すべき範囲を画素数として設定する画素数設定手段、として機能させることを特徴とする。 In the imaging program according to the ninth aspect of the present invention, the computer included in the imaging apparatus detects a feature from a subject image to be captured, according to the feature detected by the detection unit, The imaging apparatus functions as a pixel number setting unit that sets a range to be imaged as the number of pixels.
本発明によれば、被写体に含まれる特徴物に応じて最適な画素数を設定するので、メモリ容量の最適化を図ることができる。 According to the present invention, since the optimum number of pixels is set according to the feature included in the subject, the memory capacity can be optimized.
図１は、本発明の実施形態の撮像装置であるデジタルカメラ１の電気的構成を示すブロック図である。
FIG. 1 is a block diagram illustrating an electrical configuration of a
このデジタルカメラ１は、基本モードである撮像モードにおいて、ズームレンズ３１を移動させて光学ズーム動作を行わせるズーム駆動部３２、フォーカスレンズ３３を移動させて合焦動作を行わせるＡＦ駆動部３４、とから構成される撮像光学系と、撮像素子であるＣＣＤ，タイミング発生器（ＴＧ），垂直ドライバ，サンプルホールド回路（Ｓ／Ｈ），Ａ／Ｄ変換器，カラープロセス回路等を含む撮像部３５と、制御部３６ａ，画像圧縮部３６ｂ，撮像処理部３６ｃを含む情報処理部３６と、メイン表示制御部３７と、メイン表示部３８と、メインタッチパネル３９と、キー入力部４０と、記憶領域４１と、音声処理部４２と、スピーカ４３と、を備える。
The
撮像モードでのモニタリング状態においては、ズーム駆動部３２は、光学ズーム指示があると制御部３６ａからの制御信号に基づいて図示しないズームレンズ駆動モータを駆動してズームレンズ３１を光軸に沿って前後に移動させることによりＣＣＤに結像させる画像の倍率そのものを変化させる。また、ＡＦ駆動部３４は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ３３を移動させる。そして、撮像光学系の撮像光軸後方に配置された撮像部３５に設けられた撮像素子であるＣＣＤが、タイミング発生器（ＴＧ），垂直ドライバによって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。なお、撮像光学系は本発明の光学ズーム手段に相当する。
In the monitoring state in the imaging mode, when there is an optical zoom instruction, the
撮像部３５のＣＣＤは被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像デバイスでもよい。この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）でサンプルホールドされ、Ａ／Ｄ変換器でデジタルデータ（画素）に変換され、カラープロセス回路で画像補間処理及びＹ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成される。その後、カラープロセス回路の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路からの複合（ｃｏｍｐｏｓｉｔｅ）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてバッファメモリとして使用される揮発性の一時記録装置４１ｄにＤＭＡ転送する。
The CCD of the
情報処理部３６は、このデジタルカメラ１全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ等の制御部３６ａと、１フレーム分の輝度及び色差信号をＹ、Ｃｂ、Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｒｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路に書込み、このＪＰＥＧ回路でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する画像圧縮部３６ｂと、撮像部３５によって撮像された画像データを処理する撮像処理部３６ｃと、を有する。なお、情報処理部３６は、本発明の撮像手段、画素数設定手段、検出手段（文字検出手段）、ズーム制御手段に相当する。
The
また、制御部３６ａは、キー入力部４０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１の各機能の実行制御や、光学ズーム時のズームレンズの動作制御や、電子ズームや、ライブビュー表示、自動合焦、撮像、記憶、及び記憶した画像の再生・表示等の実行制御等を行う。
In addition, the
また、制御部３６ａは合焦指示に応じてその時点でＣＣＤから取込んでいる１フレーム分の輝度及び色差信号のＤＭＡ転送の終了後、直ちにＣＣＤからの経路を停止して記憶保存の状態に遷移する。そして、得た符号データを１画像のデータファイルとしてＪＰＥＧ回路から読出し、保存記録装置４１ｃや外部記憶装置４１ｂに記憶保存する。また、１フレーム分の輝度及び色差信号の圧縮処理及び保存記録装置４１ｃへの全圧縮データの書込み終了に伴って、制御部３６ａはＣＣＤから一時記録装置４１ｄへの経路を再び起動する。
Also, the
メイン表示制御部３７は、撮影画像の表示制御や機能選択時の操作用画像の表示制御、設定画面の表示制御等を行うものであり、メイン表示部３８に対する表示制御を行う。メイン表示制御部３７は、上記輝度及び色差信号を一時記録装置４１ｄから定期的に読み出し、これらのデータを基にビデオ信号を生成してメイン表示部３８に出力する。メイン表示部３８は、上述したように撮像モード時にはモニタ表示部（電子ファインダ）として機能するもので、ビデオ信号に基づいた表示を行うことで、その時点で取込んでいる画像情報に基づく画像をリアルタイムに表示することになる。
The main
メインタッチパネル３９は、メイン表示部３８に設けられたタッチパネル機能を制御する入力制御部である。
The
記憶領域４１は、外部記憶装着部４１ａに装着可能な外部記憶装置４１ｂや、不揮発性の保存記録装置４１ｃや、揮発性の一時記録装置４１ｄを含むものである。保存記録装置４１ｃは制御部３６ａで実行される動作プログラム等を記憶したプログラム格納メモリとして、一時記録装置４１ｄは上記輝度及び色差信号をＤＭＡ転送されるメモリとして機能する。
この記憶領域４１に属する記録装置又は記憶装置は、本実施例においては４１ａ〜４１ｄの形態をとっているが、これに限らず、別の組み合わせであっても良い。たとえば、一時記録装置４１ｄと保存記録装置４１ｃは、一つの不揮発性の記録装置で代替されても構わない。
The
The recording device or storage device belonging to the
また、基本モードである再生モード時には、制御部３６ａが保存記録装置４１ｃ又は外部記憶装置４１ｂに記憶されている画像データを選択的に読出し、ＪＰＥＧ回路で画像撮像モード時にデータ圧縮した手順とまったく逆の手順で圧縮されている画像データを伸張し、伸張した画像データをメイン表示制御部３７を介して展開して記憶させた上で、このメイン表示制御部３７から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部１１，２１で再生出力させる。
In the playback mode, which is the basic mode, the
上記ＪＰＥＧ回路は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。また、高画素数から低画素数にも対応している。例えば、ＳＸＧＡ（１６００×１２００）、ＸＧＡ（１０２４×７８６）、ＳＶＧＡ（８００×６００）、ＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）等と呼ばれる記憶画素サイズがある。 The JPEG circuit supports a plurality of compression ratios, and a mode and compression corresponding to a high resolution (generally referred to as high definition, fine, normal, etc.) with a low compression ratio are stored in correspondence with the compression ratio. There is a high rate low resolution (commonly called economy) mode. It also supports high to low pixel counts. For example, there are storage pixel sizes called SXGA (1600 × 1200), XGA (1024 × 786), SVGA (800 × 600), VGA (640 × 480), QVGA (320 × 240) and the like.
保存記録装置４１ｃは、内蔵メモリ（フラッシュメモリ）やハードディスク等、外部記憶装置４１ｂは、着脱可能なメモリカード等の記憶媒体からなり画像データや撮像情報等を保存記憶する。
The
キー入力部４０は、シャッター釦３、電源釦４、モード釦５を有し、それらのキーが操作されると操作されたキーの操作信号を生成して情報処理部３６に送出するキー処理部（図示せず）等から構成されている。モード釦５は撮像モードや再生モードの選択を行うものである。ユーザはモード釦５を操作して、（静止画）通常撮像モード、マクロ撮像モード、連写モード、速写モード、・・、動画撮像モード、・・・等の撮像モードを選択することができる。ズームレバー２は、ズーム操作に用いられ、光学ズームの場合はズームボタン（Ｗボタン又はＴボタン）の操作に対応してズームレンズ（可変焦点距離レンズ）がワイド側またテレ側に移動されズームボタンの操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、液晶モニタ画面にはワイド（広角）画像又はテレ（望遠）画像が表示される。シャッター釦３は、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。
The
音声処理部４２は、制御部３６ａからの指示によってスピーカ４３で発生させる音声信号を処理するものであり、一例として、制御部３６ａによって処理可能なズーム処理範囲を超えている場合に、予め設定された音声信号を保存記録装置４１ｃから読み出してスピーカ４３で再生する。なお、音声処理部４２及びスピーカ４３は、本発明の報知手段に相当するが、報知は音声のみならず、ランプ等の光やメイン表示部３８による表示内容によっても行うことができる。
The
以上の構成からなるデジタルカメラ１において、撮影モードが設定されているときの動作について説明する。図２は、撮影モードが設定された場合にメイン表示部３８に表示される内容を示す図であり、図３は、撮影モードが設定された場合に情報処理部３６の制御の下で実行される画素決定の処理手順を示すフローチャートである。
An operation of the
図２に示すように、メイン表示部３８には、被写体を撮影したライブビュー画像が表示される。画像解析エリアＡはメイン表示部３８の中央等予め設定されており、表示／非表示の切り替えが可能である。本例では、図２（ａ）において被写体は風景、画素数は１０Ｍであり、図２（ｂ）において、被写体は新聞紙面、画素数はＶＧＡである。メイン表示部３８には、画像解析エリアＡが四角枠で示され、画素数Ｂが表示されている。
As shown in FIG. 2, a live view image obtained by photographing a subject is displayed on the
図３を参照して、撮影モードが設定された場合に情報処理部３６の制御の下で実行される画素数決定の処理手順について説明する。
With reference to FIG. 3, a process procedure for determining the number of pixels that is executed under the control of the
情報処理部３６では、被写体を撮影したライブビュー画像が表示されている段階で、シャッターの半押しを検知すると（ステップＳＡ１）、画像解析エリアＡ内の画像解析を行う（ステップＳＡ２）。すなわち、図２（ａ）において風景内の文字（建物の名称）をメモ代わりに残したいとか、図２（ｂ）において新聞紙面上の一部分の記載内容をメモ代わりに残したい場合に、メモ代わりに残したい範囲が画像解析エリアＡにくるようにユーザがデジタルカメラ１を上下左右に動かして位置合わせを行い、適当なところでユーザがシャッター釦３を半押しすると、画像解析エリアＡ内の画像から特徴物を検出して、特徴物が、文字か、風景か、顔かを判断する。
When the
画像解析の結果、特徴物が文字であると認識した場合は（ステップＳＡ３）、画素をＶＧＡに変更する。また、風景であると認識した場合は（ステップＳＡ５）、画素を８Ｍに変更する。また、顔であると認識した場合は（ステップＳＡ７）、画素を１０Ｍ（最高画素数）に変更する（ステップＳＡ８）。 As a result of image analysis, when it is recognized that the feature is a character (step SA3), the pixel is changed to VGA. If the scene is recognized (step SA5), the pixel is changed to 8M. If the face is recognized (step SA7), the pixel is changed to 10M (maximum number of pixels) (step SA8).
その後、フォーカス露出を決定し（ステップＳＡ９）、本サブルーチンを終了する。 Thereafter, the focus exposure is determined (step SA9), and this subroutine is terminated.
ステップＳＡ２における画像解析の手法について詳述する。文字，風景，顔の判断は、以下のように行うことができる。 The method of image analysis in step SA2 will be described in detail. Judgment of characters, landscapes, and faces can be made as follows.
制御部３６ａは、一時記録装置４１ｄから被写体画像データを読み出して、適当な方法によって閾値（２値化基準閾値）を求める２値化閾値計算を行う。次に、被写体画像データが多諸調の濃淡画像である場合は、白黒２値の画像（２値画像データ）に変換を行う。その後、変換後の２値画像データを任意のサブ領域に分割し、各サブ領域において、サブ領域内の全画素数に占める黒画素数（又は白画素数）を求めて、それらを要素とする特徴ベクトルを生成して、特徴比較を行う。これは、求めた特徴ベクトルを予め保存記録装置に記録されている基準特徴ベクトルと比較して、類似度（例えば正規化相関係数）が最も高いものを文字，風景，顔と判断する。
The
例えば、サブ領域を縦（又は横）方向に設定する場合は、白画素数のみのサブ領域が一定間隔で生成されている場合は、そのサブ領域間には文字が存在すると判断することができるし、顔の輪郭，目，鼻，口といった人間の顔の特徴を２値画像で検出して、顔が存在すると判断することができるし、こういった特徴を検出できない場合は、風景が存在すると判断することができる。 For example, when setting the sub-regions in the vertical (or horizontal) direction, if sub-regions with only the number of white pixels are generated at regular intervals, it can be determined that characters exist between the sub-regions. However, it is possible to determine the presence of a face by detecting human face features such as face contour, eyes, nose, and mouth with a binary image, and if such features cannot be detected, there is a landscape. It can be determined.
なお、上述した説明では、被写体画像データに対して２値画像データを生成したが、特徴が文字，風景，顔か否かを判断するにあたっては、画像解析エリアＡ内の２値画像データのみを生成することによっても行ってもよい。この場合には、シャッター釦３の押下検知によって画像解析エリアＡ内の画像データを被写体画像データとは別に一時記録装置４１ｄに記録し、制御部３６ａが画像解析エリアＡ内の画像データを読み出して２値画像データへの変換を行う。
In the above description, the binary image data is generated for the subject image data. However, in determining whether the feature is a character, a landscape, or a face, only the binary image data in the image analysis area A is used. It may also be performed by generating. In this case, the image data in the image analysis area A is recorded in the
本実施形態では、ステップＳＡ２における画像解析として２値画像データの生成する手法について説明するが、本発明はこれに限定されず、文字，風景，顔を効率的に判別できるのであれば、如何なる手法を用いてもよく、この他にも、例えば、パターンマッチング、特別な文字検出用プログラム，風景検出用プログラム，顔検出用プログラムなどによって行ってもよい。 In the present embodiment, a method for generating binary image data as an image analysis in step SA2 will be described. However, the present invention is not limited to this, and any method can be used as long as it can efficiently distinguish characters, landscapes, and faces. In addition, for example, pattern matching, a special character detection program, a landscape detection program, a face detection program, or the like may be used.
次に、デジタルカメラ１による撮影処理について、図４〜図８を参照して説明する。図４は、撮影モードが設定された場合に情報処理部３６の制御の下で実行される撮影準備処理手順を示すフローチャート、図５は、撮影準備処理の実行時に、画像解析エリアＡで認識されうる文字範囲の例を示す図である。図６は、図４におけるライブビュー画像撮影処理の処理手順を示すフローチャート、図７は、撮影モードが設定された場合に情報処理部３６の制御の下で実行される撮影記録処理手順を示すフローチャート、図８は、図７の基本撮影条件設定処理の処理手順を示すフローチャートである。
Next, photographing processing by the
まず、図４及び図６を参照して、撮影モードが設定されている場合に情報処理部３６の制御の下で実行される撮影準備処理手順について説明する。
First, with reference to FIG. 4 and FIG. 6, a photographing preparation processing procedure executed under the control of the
ライブビュー画像撮影処理を行う（ステップＳＢ１）。この処理は、図６に示すように、ズームレンズ３１の位置に基づきフォーカスレンズ３３を移動させて（ステップＳＢ１−１）、撮像部３５によるライブビュー画像の撮影を行うものである（ステップＳＢ１−２）。
Live view image shooting processing is performed (step SB1). In this process, as shown in FIG. 6, the
次に、画像解析エリアＡ内の認識を行う（ステップＳＢ２）。これは、図３のステップＳＡ２に示すように画像解析エリアＡ内の２値画像を解析することで、画像解析エリアＡ内に文字，風景，顔のいずれかが存在するか否かを認識するものであり、特にモードメニュー等によって文字を認識するようにユーザが選択・設定している場合には、文字の存在の有無を認識する。このようにして、被写体画像から文字，風景，顔等の特徴物を検出する。なお、画像解析エリアＡ内の２値画像データを取得するタイミングとしては、ライブビュー画像の取得に合わせて行うこともできるが、処理負担軽減のために、例えばシャッター釦３の半押し検出に合わせて行ったり、ユーザがピントを合わせたり、ズーム操作を行っていることを自動検知して、自動的に２値画像データを取得するなど、様々な方法が可能である。
Next, recognition in the image analysis area A is performed (step SB2). This is done by analyzing the binary image in the image analysis area A as shown in step SA2 in FIG. 3 to recognize whether any of characters, scenery, or a face exists in the image analysis area A. In particular, when the user selects / sets the mode menu to recognize the character, the presence / absence of the character is recognized. In this way, features such as characters, landscapes, and faces are detected from the subject image. Note that the timing for acquiring the binary image data in the image analysis area A can be set in accordance with the acquisition of the live view image. However, in order to reduce the processing load, for example, in accordance with the half-press detection of the
次に、画像解析エリアＡ内に文字が存在するか否かを判断し（ステップＳＢ３）、文字が存在しない場合には、通常画像の撮影設定を行う（ステップＳＢ４）。例えば、図３のステップＳＡ６，ＳＡ８に示すように、画素数を８Ｍ，１０Ｍに設定変更する。 Next, it is determined whether or not there is a character in the image analysis area A (step SB3). If there is no character, a normal image shooting setting is performed (step SB4). For example, as shown in steps SA6 and SA8 in FIG. 3, the number of pixels is changed to 8M and 10M.
一方、文字が存在すると判断した場合には、文字画素数の検出を行う（ステップＳＢ５）。文字が存在するか否かの判断は、上述した特徴比較によって行うことができる。また、文字画素数の検出は、１文字を構成する画素数を算出して、多数文字の場合はその平均画素数を検出するものであり、例えば、２値画像データの白画素領域間に存在する黒画素数を個々に算出することによって、１文字あたりの画素数を検出してもよい。 On the other hand, if it is determined that a character exists, the number of character pixels is detected (step SB5). Whether or not a character exists can be determined by the above-described feature comparison. In addition, the number of character pixels is detected by calculating the number of pixels constituting one character and detecting the average number of pixels in the case of a large number of characters. For example, it exists between white pixel regions of binary image data. The number of pixels per character may be detected by individually calculating the number of black pixels to be processed.
次に、ステップＳＢ５において検出された文字画素数が適当であるか否かを判断する（ステップＳＢ６）。すなわち、ユーザが視認して判読するのに適した画素数であるか否かを、予め設定した閾値（例えば、２５×２５）以上か否かによって判断し、例えば、文字画素数が１０×１０である場合には、解像度の調整を行い（ステップＳＢ７）、解像度を上げる。一方で、予め設定した閾値以上の場合には、解像度を下げる。このようにして、予め設定した閾値に近い最適な解像度に設定する。 Next, it is determined whether or not the number of character pixels detected in step SB5 is appropriate (step SB6). That is, whether or not the number of pixels is suitable for the user to visually recognize and read is determined based on whether or not the number of pixels is equal to or greater than a preset threshold (for example, 25 × 25). If so, the resolution is adjusted (step SB7) to increase the resolution. On the other hand, if the threshold is equal to or higher than a preset threshold, the resolution is lowered. In this way, an optimal resolution close to a preset threshold value is set.
ステップＳＢ６において文字画素数が適当であると判断した場合には、文字範囲検出を行う（ステップＳＢ８）。すなわち、被写体画像データを２値化した２値画像データにおける文字範囲を検出する。 If it is determined in step SB6 that the number of character pixels is appropriate, character range detection is performed (step SB8). That is, a character range in binary image data obtained by binarizing subject image data is detected.
次に、文字範囲は所定領域か否かを判断する（ステップＳＢ９）。所定領域とは、画像解析エリアＡ内か否かであって、ステップＳＢ８において検出した文字範囲（図５（ｂ））と、ステップＳＢ２において検出した画像解析エリアＡ内に存在する文字範囲（図５（ａ））が同じか否かを判断するものである。一例として、図５（ａ）に、ステップＳＢ２において検出した画像解析エリアＡ内で認識されうる文字範囲、図５（ｂ）に、ステップＳＢ８において検出した文字範囲を示す。例えば、ステップＳＢ２において検出した画像解析エリアＡ（図５（ａ））と、文字範囲検出にて文字を認識したすエリアＡ（図５（ｂ））と、を比較して、その両方のエリアが等しい、すなわち、一致、又は近似している場合、所定領域であると判断する。具体的には、画像解析エリアＡ内の黒画素数（又は白画素数）と、上記検出した文字範囲における黒画素数（又は白画素数）を検出して、それらを比較し、検出した文字範囲の画素数が画像解析エリアＡ内の画素数と一致又は近似すれば所定領域と判断する。 Next, it is determined whether the character range is a predetermined area (step SB9). The predetermined area is whether or not it is in the image analysis area A, and the character range detected in step SB8 (FIG. 5B) and the character range existing in the image analysis area A detected in step SB2 (see FIG. 5). 5 (a)) is the same. As an example, FIG. 5A shows a character range that can be recognized in the image analysis area A detected in step SB2, and FIG. 5B shows a character range detected in step SB8. For example, the image analysis area A (FIG. 5 (a)) detected in step SB2 is compared with the area A (FIG. 5 (b)) where the character is recognized by the character range detection, and both areas are compared. Are equal, that is, match or approximate, it is determined to be a predetermined area. Specifically, the number of black pixels (or the number of white pixels) in the image analysis area A and the number of black pixels (or the number of white pixels) in the detected character range are detected, compared, and the detected character is detected. If the number of pixels in the range matches or approximates the number of pixels in the image analysis area A, it is determined as a predetermined area.
ステップＳＢ９において、文字範囲が所定領域でないと判断すると、ズーム調整可能か否かを判断する（ステップＳＢ１０）。これは、検出された文字範囲が画像解析エリアに収まる最大倍率又は最小倍率までズーム処理を行うものであり、文字範囲の方が画像解析エリアよりも小さければズーム拡大処理を行うためのズーム調整が可能か否か、文字範囲の方が画像解析エリアよりも大きければズーム縮小処理を行うためのズーム調整が可能か否かを判断する。 If it is determined in step SB9 that the character range is not the predetermined area, it is determined whether zoom adjustment is possible (step SB10). This is to perform zoom processing up to the maximum magnification or minimum magnification at which the detected character range fits in the image analysis area. If the character range is smaller than the image analysis area, zoom adjustment for performing zoom enlargement processing is performed. It is determined whether or not it is possible, and if the character range is larger than the image analysis area, it is determined whether or not zoom adjustment for performing zoom reduction processing is possible.
ステップＳＢ１０においてズーム調整可能と判断した場合は、ズームレンズを１段階上下する調整を行い（ステップＳＢ１１）、処理をステップＳＢ５に戻す。 If it is determined in step SB10 that zoom adjustment is possible, the zoom lens is adjusted up and down by one step (step SB11), and the process returns to step SB5.
一方、ステップＳＢ１０においてズーム調整不可能と判断した場合、又は、ステップＳＢ９において文字範囲は所定領域と判断した場合は、詳細文字認識を行う（ステップＳＢ１２）。詳細文字認識は、画像解析エリアＡ内の文字を認識するものである。 On the other hand, if it is determined in step SB10 that zoom adjustment is impossible, or if it is determined in step SB9 that the character range is a predetermined area, detailed character recognition is performed (step SB12). Detailed character recognition recognizes characters in the image analysis area A.
次に、情報処理部３６は、図４に示す一連の撮影準備処理の後に、図７に示す撮影記録処理を行う。図７及び図８を参照して、撮影モードが設定されている場合に情報処理部３６の制御の下で実行される撮影記録処理手順について説明する。
Next, the
まず、基本撮影条件設定処理を行う（ステップＳＣ１）。具体的には、図８に示すように、ＡＦ（オートフォーカス）を行いＦｒ（フォーカスレンズのレンズ位置）を決定する（ステップＳＣ１−１）。ＡＦに成功したか否かを判断し（ステップＳＣ１−２）、ＡＦに成功したと判断された場合はステップＳＣ１−３に進む一方、ＡＦに失敗したと判断された場合は処理をステップＳＣ１−１に戻し、オートフォーカスを行う処理を繰り返す。ここで、ステップＳＣ１−２では、ＡＦが成功したか失敗したかをＡＦ評価値が所定値以上になったか否かに基づいて判断する。ＡＦが成功したと判断された場合は、ＡＥ（自動露出）を行いＥＶ（ＥＶ値：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）を決定する（ステップＳＣ１−３）。その後、プログラム線図、ＥＶ、ＥＶＨ（ＥＶ補正値）に基づいて、Ｅ（絞り）、ＩＳＯ（ＩＳＯ感度）、ＳＳ（シャッタースピード）、フラッシュＯＮ／ＯＦＦを決定して（ステップＳＣ１−４）、本サブルーチンを終了する。なお、ステップＳＣ１−４では、フラッシュＯＮ／ＯＦＦは、ＳＳ＞１／６０でＯＮ、ＳＳ＜１／６０でＯＦＦと決定し、ＯＮ／ＯＦＦに関わらず、使用するプログラム線図は１つである。 First, basic photographing condition setting processing is performed (step SC1). Specifically, as shown in FIG. 8, AF (autofocus) is performed to determine Fr (lens position of the focus lens) (step SC1-1). It is determined whether or not AF has succeeded (step SC1-2). If it is determined that AF has succeeded, the process proceeds to step SC1-3. If it is determined that AF has failed, the process proceeds to step SC1-. Return to 1 and repeat the autofocus process. Here, in step SC1-2, whether the AF has succeeded or failed is determined based on whether or not the AF evaluation value has become a predetermined value or more. If it is determined that AF is successful, AE (automatic exposure) is performed to determine EV (EV value: Exposure Value) (step SC1-3). Thereafter, E (aperture), ISO (ISO sensitivity), SS (shutter speed), and flash ON / OFF are determined based on the program diagram, EV, EVH (EV correction value) (step SC1-4), This subroutine ends. In step SC1-4, the flash ON / OFF is determined to be ON when SS> 1/60 and OFF when SS <1/60, and only one program diagram is used regardless of ON / OFF. .
次に、設定された撮影条件下で、記録用画像の撮影処理を行う（ステップＳＣ２）。その後、図４のステップＳＢ１２で実行した詳細文字認識の結果と撮影された記録用画像とを関連付けして（ステップＳＣ３）、外部記憶装置４１ｂに記録用画像を保存する（ステップＳＣ４）。
Next, a recording image shooting process is performed under the set shooting conditions (step SC2). Thereafter, the result of the detailed character recognition executed in step SB12 in FIG. 4 is associated with the recorded recording image (step SC3), and the recording image is stored in the
次に、メイン表示部３８に記録用画像を確認表示して（ステップＳＣ５）、本サブルーチンを終了する。 Next, the recording image is confirmed and displayed on the main display section 38 (step SC5), and this subroutine is finished.
なお、上述した実施形態では、図４のステップＳＢ３で文字が存在しないと判断した場合に、直ちにステップＳＢ４に進む構成について説明したが、本発明はこれに限定されない。例えば、画像解析エリア内の文字認識をより正確に実行するように、図４のステップＳＢ１からステップＳＢ３の間の処理に図９に示すステップＳＢ３−１，ＳＢ３−２の解像度を調整する処理を追加してもよい。 In the above-described embodiment, the configuration has been described in which, when it is determined in step SB3 in FIG. 4 that no character is present, the process immediately proceeds to step SB4. However, the present invention is not limited to this. For example, a process for adjusting the resolution of steps SB3-1 and SB3-2 shown in FIG. 9 is performed in the process between step SB1 and step SB3 of FIG. 4 so that character recognition in the image analysis area is performed more accurately. May be added.
すなわち、すなわちステップＳＢ２において画像解析エリア内の認識を行った後、ステップＳＢ３において文字が存在するか否かを判断し、文字が存在しないと判断した場合は、現在設定されている解像度よりも高い解像度に拡大可能か否かを判断する（ステップＳＢ３−１）。これ以上高い解像度に設定できないと判断した場合は、処理をステップＳＢ４に進める。 That is, after recognition in the image analysis area in step SB2, it is determined whether or not a character exists in step SB3. If it is determined that no character exists, the resolution is higher than the currently set resolution. It is determined whether or not the resolution can be expanded (step SB3-1). If it is determined that a higher resolution cannot be set, the process proceeds to step SB4.
一方、現在設定されている解像度よりも高い解像度に拡大可能であると判断した場合は、解像度を上げて（ステップＳＢ３−２）、再び画像解析エリア内の認識を行う（ステップＳＢ２）。なお、解像度を上げる処理は、解像度を１段階ごとに高く設定するようにしてもよく、或いは、一度に最大の解像度を設定するようにしてもよい。このようにして、解像度を高く設定した後に文字が存在するかどうかを改めて判断し（ステップＳＢ３）、画像解析エリア内に文字が存在すると判断した場合にはステップＳＢ５に進む。 On the other hand, if it is determined that the image can be enlarged to a resolution higher than the currently set resolution, the resolution is increased (step SB3-2), and the image analysis area is recognized again (step SB2). In the process of increasing the resolution, the resolution may be set higher for each step, or the maximum resolution may be set at a time. In this way, it is determined again whether the character exists after setting the resolution high (step SB3). If it is determined that the character exists in the image analysis area, the process proceeds to step SB5.
例えば、遠くの文字をメモ代わりに読み取りたいという場合、現在設定されている低い解像度では文字としての判別が不可能であるが、解像度を高く設定することにより文字としての判別が可能になることもある。このように高い解像度に自動的に設定することでステップＳＢ３における文字が存在するか否かの判断を迅速かつ正確に行うことができる。 For example, if you want to read a distant character instead of a memo, it is not possible to distinguish it as a character at the currently set low resolution, but it may be possible to distinguish it as a character by setting a high resolution. is there. By automatically setting to a high resolution in this way, it is possible to quickly and accurately determine whether or not there is a character in step SB3.
次に、情報処理部３６で行われるエラー処理の内容について、図１０及び図１１を参照して説明する。図１０は、情報処理部３６の制御の下で実行されるエラー処理の処理手順を示すフローチャートであり、図１１は、一時記録装置４１ｄに書き込まれているエラーフラグの状態を示す図である。
Next, the content of error processing performed in the
本発明の実施形態において、エラー処理がされるのは、第１に図４又は図９のステップＳＢ３において文字が存在しないと判断された場合、第２に図４のステップＳＢ１０においてズーム調整不可能と判断された場合、第３に図８のステップＳＣ１−２においてＡＦ失敗と判断された場合である。第１の場合には「文字無し」フラグが立てられ、第２の場合には「ズーム限界」フラグが立てられ、第３の場合には「ＡＦ失敗」フラグが立てられる（図１１参照）。エラーフラグは２値情報によって示され、フラグが立てられると「１」に遷移し、それ以外の場合は「０」に遷移する。 In the embodiment of the present invention, error processing is performed first when it is determined that there is no character in step SB3 of FIG. 4 or 9, and secondly, zoom adjustment is not possible in step SB10 of FIG. The third case is a case where AF failure is determined in step SC1-2 in FIG. The “no character” flag is set in the first case, the “zoom limit” flag is set in the second case, and the “AF failure” flag is set in the third case (see FIG. 11). The error flag is indicated by binary information, and when the flag is set, transition is made to “1”, and otherwise, transition is made to “0”.
情報処理部３６においては、エラーフラグの内容を一時記録装置４１ｄから読み出して（ステップＳＤ１）、エラーフラグの内容に応じたエラー報知をメイン表示部３８やスピーカ４３によって行う（ステップＳＤ２，ＳＤ３）。
In the
このように、本発明の実施形態によれば、被写体画像のうち画像解析エリア内の画像から特徴物である文字を検出して、ユーザが判読可能な画素数となるような画像数を決定することで、最適な記憶容量にて記憶することができ、経済的かつ計画的にメモリの消費を管理することができる。この際に、単に低い画素数で記憶するのではなく、画像解析エリアに収まる最大倍率までズーム処理を行って記憶することから、文字判別の容易さと記憶容量の適切さとを考慮したメモリの消費を管理することができる。 As described above, according to the embodiment of the present invention, the character that is a feature is detected from the image in the image analysis area in the subject image, and the number of images that can be read by the user is determined. Thus, it is possible to store the data with the optimum storage capacity, and to manage the memory consumption economically and systematically. At this time, instead of simply storing with a low number of pixels, the zoom processing is performed up to the maximum magnification that can be accommodated in the image analysis area, so that memory consumption is considered in consideration of ease of character discrimination and appropriate storage capacity. Can be managed.
特に、被写体画像は風景や建物等であるが、そこに内在する文字部分のみをメモ代わりに残しておきたい場合に、風景に照準を合わせるのではなく、画像解析エリア内の文字部分に照準を合わせて解像度設定やズーム処理を行うことで、文字認識に必要な解像度で最適な撮影を行うことができ、メモリの消費を管理することができる。 In particular, if the subject image is a landscape or a building, but you want to leave only the text part that exists in it as a memo, instead of aiming at the scenery, aim the text part in the image analysis area. In addition, by performing resolution setting and zoom processing, it is possible to perform optimal shooting at a resolution necessary for character recognition and manage memory consumption.
１ デジタルカメラ
３８ メイン表示部
Ａ 画像解析エリア
Ｂ 画素数表示
1
Claims (9)
前記撮像手段が撮像する被写体画像から特徴物を検出する検出手段と、
前記検出手段によって検出された特徴物に応じて、前記撮像手段が撮像すべき範囲を画素数として設定する画素数設定手段と、
を備えることを特徴とする撮像装置。 An imaging means for imaging a subject image;
Detection means for detecting a feature from a subject image captured by the imaging means;
A number-of-pixels setting unit that sets, as the number of pixels, a range to be imaged by the imaging unit according to the feature detected by the detection unit;
An imaging apparatus comprising:
前記検出手段によって検出された特徴物が、前記撮像手段の撮像画角内に設定された当該特徴物を解析するための画像解析エリアに収まる最大倍率まで前記光学ズーム手段によるズーム処理を行うズーム制御手段と、
を更に備えることを特徴とする請求項１記載の撮像装置。 Optical zoom means for optically zooming;
Zoom control for performing zoom processing by the optical zoom unit up to a maximum magnification that allows the feature detected by the detection unit to be within an image analysis area for analyzing the feature set in the imaging field angle of the imaging unit Means,
The imaging apparatus according to claim 1, further comprising:
前記検出手段は、文字を検出する文字検出手段を含むことを特徴とする請求項１から５のいずれか記載の撮像装置。 The feature detected by the detecting means is a character,
The imaging apparatus according to claim 1, wherein the detection unit includes a character detection unit that detects a character.
前記検出ステップにて検出された特徴物に応じて、撮像手段が撮像すべき範囲を画素数として設定する画素数設定ステップと、
を含むことを特徴とする撮像方法。 A detection step of detecting a feature from the subject image captured by the imaging unit;
In accordance with the feature detected in the detection step, a pixel number setting step for setting a range to be imaged by the imaging unit as the number of pixels,
An imaging method comprising:
撮像する被写体画像から特徴物を検出する検出手段、
前記検出手段によって検出された特徴物に応じて、当該撮像装置が撮像すべき範囲を画素数として設定する画素数設定手段、
として機能させることを特徴とする撮像プログラム。 A computer included in the imaging apparatus;
Detecting means for detecting a feature from a subject image to be imaged;
A pixel number setting unit that sets a range to be imaged by the imaging apparatus as the number of pixels according to the feature detected by the detection unit,
An imaging program that functions as a computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008244833A JP2010081100A (en) | 2008-09-24 | 2008-09-24 | Imaging device, imaging method, and imaging program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008244833A JP2010081100A (en) | 2008-09-24 | 2008-09-24 | Imaging device, imaging method, and imaging program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010081100A true JP2010081100A (en) | 2010-04-08 |
Family
ID=42211079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008244833A Pending JP2010081100A (en) | 2008-09-24 | 2008-09-24 | Imaging device, imaging method, and imaging program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010081100A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012075044A (en) * | 2010-09-29 | 2012-04-12 | Toshiba Corp | Device, method and program for image processing |
| JP2012168477A (en) * | 2011-02-16 | 2012-09-06 | Nikon Corp | Noise estimation device, signal processor, imaging apparatus, and program |
-
2008
- 2008-09-24 JP JP2008244833A patent/JP2010081100A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012075044A (en) * | 2010-09-29 | 2012-04-12 | Toshiba Corp | Device, method and program for image processing |
| JP2012168477A (en) * | 2011-02-16 | 2012-09-06 | Nikon Corp | Noise estimation device, signal processor, imaging apparatus, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8089527B2 (en) | Image capturing apparatus, image capturing method and storage medium | |
| TWI420902B (en) | Camera, camera control program, and camera control method | |
| US8144235B2 (en) | Image pickup device and image pickup method | |
| JP4193804B2 (en) | IMAGING DEVICE, IMAGE STORAGE DEVICE, IMAGING METHOD, STORAGE METHOD, AND PROGRAM | |
| US8823864B2 (en) | Image capturing apparatus and associated methodology for auto-focus and facial detection | |
| JP4645685B2 (en) | Camera, camera control program, and photographing method | |
| JP5782813B2 (en) | Imaging apparatus and image display method | |
| US7539405B2 (en) | Image pickup apparatus with autofocus function | |
| CN101090459A (en) | Photographing apparatus and photographing method | |
| JP2011097576A (en) | Imaging apparatus | |
| JP2007215091A (en) | Imaging apparatus and program therefor | |
| US8363128B2 (en) | Image processing apparatus and image processing method | |
| JP2006262071A (en) | Image display control apparatus and program | |
| JP4609315B2 (en) | Imaging device, method of displaying angle frame at zoom, and program | |
| JP2006054519A (en) | Imaging apparatus | |
| JP2010081100A (en) | Imaging device, imaging method, and imaging program | |
| JP2009253925A (en) | Imaging apparatus and imaging method, and imaging control program | |
| JP4888829B2 (en) | Movie processing device, movie shooting device, and movie shooting program | |
| JP2011109693A (en) | Imaging device | |
| US8073319B2 (en) | Photographing method and photographing apparatus based on face detection and photography conditions | |
| JP2011142644A (en) | Imaging apparatus | |
| JP2005347885A (en) | Imaging unit, photographing range adjustment method, and program | |
| JP2011050107A (en) | Camera, camera control program, and imaging method | |
| JP5003803B2 (en) | Image output apparatus and program | |
| JP2007166447A (en) | Imaging apparatus, zoom display method, and program |