JP2024065599A - Information processing device, imaging device, information processing method, and program - Google Patents

Abstract

【課題】再生中の映像について特性の発揮程度を確認すること。【解決手段】情報処理装置は、画質に関連する特性を有する撮像素子が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する取得手段と、上記撮像素子で撮影された動画を再生する再生手段と、上記動画の再生に並行して、当該動画の撮影中に取得された上記特性情報が表す上記程度を通知する通知手段と、を備える。【選択図】図５[Problem] To check the degree of characteristic exertion for a video being played back. [Solution] An information processing device includes an acquisition means for acquiring characteristic information representing the degree to which an image sensor having characteristics related to image quality exerted said characteristics during shooting of a video, a playback means for playing back the video shot by said image sensor, and a notification means for notifying said degree represented by the characteristic information acquired during shooting of said video in parallel with the playback of said video. [Selected Figure] Figure 5

Description

本発明は、情報処理装置、撮像装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing device, an imaging device, an information processing method, and a program.

近年、例えば監視カメラなどの分野で、カメラの性能を向上させるために様々な特性を持った撮像素子が開発されている。これらの特性はカメラの性能向上を目的として様々な形態で実装されるが、撮像素子の特性は必ずしも常に発揮されるとは限らない。
撮像素子の特性が変化して撮影された映像（動画）は、特性が発揮された時間区間と発揮されなかった時間区間が混ざった映像になる。このため、例えばリアルタイムで映像を再生して確認するユーザは、特性が発揮された時間区間と発揮されなかった時間区間とを区別できない。 In recent years, imaging elements with various characteristics have been developed to improve the performance of cameras, for example in the field of surveillance cameras. These characteristics are implemented in various forms with the aim of improving the performance of the camera, but the characteristics of the imaging elements are not always fully utilized.
Video (moving image) captured by changing the characteristics of the image sensor is a mixture of time periods in which the characteristics are exhibited and time periods in which they are not exhibited. For this reason, for example, a user who plays back and checks the video in real time cannot distinguish between time periods in which the characteristics are exhibited and time periods in which they are not exhibited.

これに対し、特許文献１では、映像を表示する際に、表示装置の性能に合わせて、どの表示装置でも同じ画質になるように映像を補正する技術が提案されている。
また、例えば特許文献２では、高温になった装置がいつになったら使用可能な温度に下がるのかを予測して通知する技術が提案されている。 In response to this, Japanese Patent Laid-Open No. 2003-233666 proposes a technique for correcting an image when it is displayed in accordance with the performance of the display device so that the image quality is the same on all display devices.
Also, for example, Patent Document 2 proposes a technique for predicting and notifying the user when a device that has become too hot will cool down to a usable temperature.

特開２０１２－２０４９７３号公報JP 2012-204973 A 特開２００８－３１１９１５号公報JP 2008-311915 A

しかしながら特許文献１では、例えば補正が効かない状況が生じた場合に、撮像素子の特性によるものか判断ができない。また、特許文献２では、通知が映像表示とは無関係であり、映像における上記時間区間の区別ができない。 However, in Patent Document 1, for example, when a situation occurs where correction is not effective, it is not possible to determine whether this is due to the characteristics of the imaging element. Furthermore, in Patent Document 2, the notification is unrelated to the image display, and it is not possible to distinguish the above-mentioned time intervals in the image.

本発明が解決しようとする課題は、再生中の映像について特性の発揮程度を確認することである。 The problem that this invention aims to solve is to check the degree to which the characteristics of the video being played are being exhibited.

上記の課題を解決するため、本発明の１つの態様にかかる情報処理装置は、画質に関連する特性を有する撮像素子が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する取得手段と、上記撮像素子で撮影された動画を再生する再生手段と、上記動画の再生に並行して、当該動画の撮影中に取得された上記特性情報が表す上記程度を通知する通知手段と、を備える。 To solve the above problem, an information processing device according to one aspect of the present invention includes an acquisition means for acquiring characteristic information representing the degree to which an image sensor having characteristics related to image quality exhibits said characteristics during shooting of a video, a playback means for playing back the video captured by the image sensor, and a notification means for notifying, in parallel with the playback of the video, the degree represented by the characteristic information acquired during shooting of the video.

本発明によれば、再生中の映像について特性の発揮程度を確認することができる。 The present invention makes it possible to check the extent to which the characteristics of the video being played are being exhibited.

本発明の一実施形態における撮像装置を示すブロック図。1 is a block diagram showing an imaging apparatus according to an embodiment of the present invention; 本実施形態の撮像装置のハードウェアブロック図。FIG. 2 is a hardware block diagram of the imaging apparatus according to the present embodiment. 撮像装置における録画時の処理動作の例を示すフローチャート。5 is a flowchart showing an example of a processing operation during recording in the imaging device. 撮像素子の特性情報の取得方法を示す図。5A and 5B are diagrams showing a method of acquiring characteristic information of an imaging element. 撮像装置における映像再生の例を示す図。1A and 1B are diagrams showing an example of video playback in an imaging device. 追加で通知される情報の第１例を示す図。FIG. 11 is a diagram showing a first example of additional information to be notified. 追加で通知される情報の第２例を示す図。FIG. 13 is a diagram showing a second example of additional information to be notified. 追加で通知される情報の第３例を示す図。FIG. 13 is a diagram showing a third example of additional information to be notified.

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用されるシステムおよび装置の仕様および各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって画定されるのであって、以下の個別の実施形態によって画定されない。 Below, the embodiments of the present invention will be described in detail with reference to the attached drawings. Note that the following embodiments do not limit the present invention, and not all of the combinations of features described in the embodiments are necessarily essential to the solution of the present invention. The configurations of the embodiments may be modified or changed as appropriate depending on the specifications of the system and device to which the present invention is applied and various conditions (conditions of use, environment of use, etc.). The technical scope of the present invention is defined by the claims, and not by the individual embodiments below.

＜撮像装置の構成＞
図１は、本発明の一実施形態における撮像装置１０を示すブロック図である。
本実施形態の撮像装置１０は、情報処理部１００、レンズ部１１０および撮像素子１１１を備えている。情報処理部１００は、映像現像部１０１、撮影制御部１０２、特性情報取得部１０３、映像再生部１０５および温度検知素子１０７を備えている。情報処理部１００は、本発明の情報処理装置の一実施形態に相当する。本実施形態では、撮像装置１０に映像再生装置１２０が接続されている。 <Configuration of Imaging Device>
FIG. 1 is a block diagram showing an image capture device 10 according to an embodiment of the present invention.
The imaging device 10 of this embodiment includes an information processing unit 100, a lens unit 110, and an imaging element 111. The information processing unit 100 includes a video development unit 101, an imaging control unit 102, a characteristic information acquisition unit 103, a video playback unit 105, and a temperature detection element 107. The information processing unit 100 corresponds to an embodiment of an information processing device of the present invention. In this embodiment, a video playback device 120 is connected to the imaging device 10.

レンズ部１１０は被写体の映像を撮像素子１１１に結像させ、撮像素子１１１は被写体の映像を動画として撮影する。
映像現像部１０１は、撮像素子１１１で撮影された映像の現像を行う。即ち、映像上の各点の光量に応じて撮像素子１１１の各画素に蓄積された電荷が映像現像部１０１によって読み出されて映像信号として出力される。 The lens unit 110 forms an image of a subject on the image sensor 111, and the image sensor 111 captures the image of the subject as a moving image.
The image development unit 101 develops the image captured by the image sensor 111. That is, the charge accumulated in each pixel of the image sensor 111 according to the amount of light at each point on the image is read out by the image development unit 101 and output as a video signal.

撮影制御部１０２は、撮影時に映像現像部１０１から送られてくる映像信号の処理や撮影時の情報処理部１００における各機能の制御を行う。撮影制御部１０２は、制御の一例として、撮影時のゲインを設定する。撮影制御部１０２は、映像信号を処理することで、映像を表した映像データを作成する。 The shooting control unit 102 processes the video signal sent from the video development unit 101 during shooting and controls each function in the information processing unit 100 during shooting. As an example of control, the shooting control unit 102 sets the gain during shooting. The shooting control unit 102 processes the video signal to create video data representing the video.

撮像素子１１１は、画質に関連する特性を有し、特性情報取得部１０３は、撮像素子１１１が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する。本実施形態では、撮影制御部１０２が設定したゲインと、温度検知素子１０７から得られる温度とに基づいて特性情報が取得される。撮像素子１１１の特性情報の詳細や取得方法は後述する。 The image sensor 111 has characteristics related to image quality, and the characteristic information acquisition unit 103 acquires characteristic information indicating the degree to which the image sensor 111 exhibits the characteristics while shooting a video. In this embodiment, the characteristic information is acquired based on the gain set by the shooting control unit 102 and the temperature obtained from the temperature detection element 107. Details of the characteristic information of the image sensor 111 and the method of acquiring it will be described later.

映像再生部１０５は、撮影制御部１０２で作成された映像データが表す映像を再生する。言い換えると映像再生部１０５は、撮像素子１１１で撮影された動画を再生する。本実施形態では一例として映像がリアルタイムで再生される場合について説明するが、映像再生部１０５は、記録された映像データの映像を再生してもよい。また、映像再生部１０５は、映像（動画）の再生と並行して、当該動画の撮影中に特性情報取得部１０３により取得された特性情報が表す特性の発揮程度を通知する。映像の再生と発揮程度の通知の詳細は後述する。 The video playback unit 105 plays back the video represented by the video data created by the shooting control unit 102. In other words, the video playback unit 105 plays back the video captured by the image sensor 111. In this embodiment, a case where the video is played back in real time is described as an example, but the video playback unit 105 may also play back video from recorded video data. In addition, in parallel with playing back the video (video), the video playback unit 105 notifies the degree of exertion of the characteristics represented by the characteristic information acquired by the characteristic information acquisition unit 103 during the shooting of the video. Details of the video playback and the notification of the degree of exertion will be described later.

温度検知素子１０７は撮像素子１１１の温度を検知する。本実施形態では温度検知素子１０７が情報処理部１００内に備えられるが、測定に支障がないのであれば温度検知素子１０７は情報処理部１００外に備えられてもよい。
映像再生部１０５が再生する映像は、映像再生装置１２０に送られて、映像再生装置１２０を操作するユーザに閲覧される。映像再生装置１２０は、例えばパーソナルコンピュータである。映像再生装置１２０は、本実施形態のように撮像装置１０外に備えられてもよいが、撮像装置１０に組み込まれてもよいし、情報処理部１００に組み込まれてもよい。 The temperature detection element 107 detects the temperature of the image sensor 111. In this embodiment, the temperature detection element 107 is provided inside the information processing unit 100, but the temperature detection element 107 may be provided outside the information processing unit 100 as long as it does not interfere with measurement.
The video played by the video playback unit 105 is sent to the video playback device 120 and viewed by a user who operates the video playback device 120. The video playback device 120 is, for example, a personal computer. The video playback device 120 may be provided outside the imaging device 10 as in this embodiment, but may also be incorporated into the imaging device 10 or the information processing unit 100.

図１に示した構成（特に情報処理部１００の機能構成）は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、何れかの機能ブロックが複数の機能を行うブロックに分かれてもよい。また、機能ブロックの少なくとも１つがハードウェアとして実装されてもよい。機能ブロックがハードウェアにより実装される場合、例えば、所定のコンパイラが用いられることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路が生成可能である。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、機能ブロックは、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路が形成されることで、ハードウェアとして実現されてもよい。また、機能ブロックはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現されてもよい。 The configuration shown in FIG. 1 (particularly the functional configuration of the information processing unit 100) is an example, and multiple functional blocks may form one functional block, or any functional block may be divided into blocks that perform multiple functions. At least one of the functional blocks may be implemented as hardware. When the functional blocks are implemented as hardware, for example, a specific compiler may be used to automatically generate a dedicated circuit on the FPGA from a program for realizing each step. FPGA is an abbreviation for Field Programmable Gate Array. The functional blocks may be realized as hardware by forming a gate array circuit in the same manner as the FPGA. The functional blocks may be realized by an ASIC (Application Specific Integrated Circuit).

＜撮像装置のハードウェア構成＞
図２は、本実施形態の撮像装置１０のハードウェアブロック図である。
撮像装置１０は、ＣＰＵ(中央演算装置)１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３とを備えている。また、撮像装置１０は、外部メモリ１４と、撮像部１５と、入力部１６と、表示部１７と、通信インタフェース１７とを備えている。これらの要素はバス１９によって互いに接続されている。 <Hardware configuration of the imaging device>
FIG. 2 is a hardware block diagram of the imaging device 10 of the present embodiment.
The imaging device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13. The imaging device 10 also includes an external memory 14, an imaging unit 15, an input unit 16, a display unit 17, and a communication interface 18. These elements are connected to each other via a bus 19.

ＣＰＵ１１は、コンピュータを撮像装置１０の情報処理部１００が備える各手段（即ち図１に示す各機能ブロック）として動作させるプログラムなどを実行する。ＲＯＭ１２は、コンピュータの基本的な機能を実現するプログラムを記憶する。ＲＡＭ１３は、ＣＰＵ１１で用いられるプログラムやデータなどを記憶し、外部メモリ１４もプログラムやデータを記憶する。また、外部メモリ１４は、撮像装置１０で撮影された映像を映像データとして記憶し、撮影時に取得された特性情報も記憶する。 The CPU 11 executes programs and the like that cause the computer to operate as each means (i.e., each functional block shown in FIG. 1) provided in the information processing section 100 of the imaging device 10. The ROM 12 stores programs that realize the basic functions of the computer. The RAM 13 stores programs and data used by the CPU 11, and the external memory 14 also stores programs and data. The external memory 14 also stores images captured by the imaging device 10 as image data, and also stores characteristic information acquired during shooting.

撮像部１５は、図１に示すレンズ部１１０と撮像素子１１１とを含み、被写体の映像を動画として撮影する。
入力部１６は、例えば操作ボタンを含む。入力部１６がユーザに操作されることで撮像装置１０に指示や設定などが入力される。表示部１７は、ディスプレイを含み、設定情報などを表示する。表示部１７と入力部１６は、タッチパネル機能を備えたディスプレイによって一体のグラフィカルユーザインタフェース（ＧＵＩ）として実現されてもよい。
通信インタフェース１８は、映像再生装置１２０と通信して映像を送信する。なお、撮像装置１０は音声出力部を備えてもよい。 The imaging unit 15 includes the lens unit 110 and the imaging element 111 shown in FIG. 1, and captures an image of a subject as a moving image.
The input unit 16 includes, for example, an operation button. When the user operates the input unit 16, instructions, settings, and the like are input to the imaging device 10. The display unit 17 includes a display and displays setting information, and the like. The display unit 17 and the input unit 16 may be realized as an integrated graphical user interface (GUI) by a display equipped with a touch panel function.
The communication interface 18 communicates with and transmits video to the video playback device 120. The imaging device 10 may also include an audio output unit.

＜撮像装置の処理動作＞
次に、撮像装置１０における処理動作について説明する。
図３は、撮像装置１０における録画時の処理動作の例を示すフローチャートである。
まず、撮像装置１０に対するユーザの操作に従って、撮像装置１０が撮影を開始する（Ｓ２００）。次に、特性情報を利用するか否かがユーザの操作で選択され（Ｓ２０１）、特性情報の利用が選択された場合（Ｓ２０１：ＹＥＳ）は、情報処理部１００の特性情報取得部１０３が撮像素子１１１について特性情報を取得する（Ｓ２０２）。 <Processing Operation of Imaging Apparatus>
Next, the processing operation in the imaging device 10 will be described.
FIG. 3 is a flowchart showing an example of a processing operation during recording in the imaging device 10. As shown in FIG.
First, the imaging device 10 starts capturing images in accordance with a user's operation on the imaging device 10 (S200). Next, whether or not to use the characteristic information is selected by the user's operation (S201). If the user selects to use the characteristic information (S201: YES), the characteristic information acquisition unit 103 of the information processing unit 100 acquires characteristic information about the imaging element 111 (S202).

また、特性情報を通知するか否かがユーザの操作で選択される（Ｓ２０３）。本実施形態では、特性情報の利用および通知をユーザが選択するが、情報処理部１００は特性情報の利用および通知を自動で実行してもよい。あるいは、特性情報の利用をユーザが選択した場合に特性情報の通知が連動して実行されてもよい。 The user also selects whether or not to notify the characteristic information (S203). In this embodiment, the user selects whether to use and notify the characteristic information, but the information processing unit 100 may automatically use and notify the characteristic information. Alternatively, when the user selects to use the characteristic information, the notification of the characteristic information may be executed in conjunction with the selection.

ユーザが特性情報の利用を選択しなかった場合（Ｓ２０１：ＮＯ）、およびユーザが特性情報の通知を選択しなかった場合（Ｓ２０３：ＮＯ）は、情報処理部１００の映像再生部１０５が、特性情報を用いない映像再生を行う（Ｓ２０４）。そして、撮影を終了するユーザの操作に伴って映像再生が終了する（Ｓ２０６）。
一方、ユーザによって特性情報の通知が選択された場合（Ｓ２０３：ＹＥＳ）は、情報処理部１００の映像再生部１０５が、特性情報を用いた映像再生を行い（Ｓ２０５）、撮影を終了するユーザの操作に伴って映像再生が終了する（Ｓ２０６）。 If the user does not select to use the characteristic information (S201: NO) or if the user does not select to notify the characteristic information (S203: NO), the video playback unit 105 of the information processing unit 100 performs video playback without using the characteristic information (S204). Then, the video playback ends in response to the user's operation to end the shooting (S206).
On the other hand, if the user selects to notify the characteristic information (S203: YES), the video playback unit 105 of the information processing unit 100 plays the video using the characteristic information (S205), and the video playback ends in response to the user's operation to end shooting (S206).

図４は、撮像素子１１１の特性情報の取得方法を示す図である。本明細書における撮像素子１１１の特性情報とは、撮像素子１１１により撮影される映像の画質に影響を及ぼす特性が発揮された程度を表している。具体的には、例えば、撮像素子にアバランシェフォトダイオード（ＡＰＤ）を適用した場合の特性情報について説明する。特に、ガイガーモードで動作させるＡＰＤであるＳＰＡＤは、イメージセンサに適用した場合、低照度下においても高画質の撮影が可能である。一方で、ＳＰＡＤを撮像素子に利用すると、その温度上昇に応じて画質が低下することが知られている。そこで、本実施形態における特性情報は、ＳＰＡＤセンサがある所定輝度以下の状況では高い程度を保ち、撮像素子の温度が一定以上になるか或いは連続動作時間の蓄積により画質が低下した程度を示す。なお、撮像素子は、ＳＰＡＤセンサに限らず、赤外線センサ、ＣＭＯＳセンサやＣＣＤセンサ等でもよい。ところで、特性情報は、特性が発揮された程度を表した情報であればよく、数値でもよいし、「優」「良」「可」や◎○×などの文言や記号でもよい。また、特性情報は、映像の画質に関連した情報であり、画質への影響量を表すが、画質そのものを表してはいない。特性情報が、画質への大きな影響を表していた場合であっても、他の要因で結果的な画質には変化がない場合もある。 Figure 4 is a diagram showing a method of acquiring characteristic information of the imaging element 111. In this specification, the characteristic information of the imaging element 111 indicates the degree to which a characteristic that affects the image quality of the image captured by the imaging element 111 is exerted. Specifically, for example, characteristic information when an avalanche photodiode (APD) is applied to the imaging element will be described. In particular, when a SPAD, which is an APD operated in Geiger mode, is applied to an image sensor, high image quality can be captured even under low illuminance. On the other hand, it is known that when a SPAD is used as an imaging element, the image quality decreases according to the increase in its temperature. Therefore, the characteristic information in this embodiment indicates the degree to which the image quality has decreased when the temperature of the imaging element of the SPAD sensor is above a certain predetermined luminance, and the temperature of the imaging element is above a certain level or the image quality has decreased due to the accumulation of continuous operation time. Note that the imaging element is not limited to a SPAD sensor, but may be an infrared sensor, a CMOS sensor, a CCD sensor, etc. By the way, the characteristic information may be information that indicates the degree to which the characteristic is exerted, and may be a numerical value, or may be words or symbols such as "excellent", "good", "passable", or ◎○×. Furthermore, the characteristics information is information related to the image quality of the video and indicates the amount of impact on the image quality, but does not indicate the image quality itself. Even if the characteristics information indicates a large impact on the image quality, there may be other factors that result in no change in the image quality.

特性情報に対応した特性は、映像の画質に影響を及ぼす種々の特性のうち、特定の特性であってよく、種々の特性の全体である必要はない。特に、ユーザが映像の閲覧時に特性の発揮状態を気に掛けるような特性について特性情報の取得が望まれる。例えば低照度時や逆光時などといった特別な撮影条件に適応するための特性の発揮状態を示した特性情報が考えられる。 The characteristic corresponding to the characteristic information may be a specific characteristic among various characteristics that affect the image quality of the image, and does not have to be all of the various characteristics. In particular, it is desirable to obtain characteristic information about characteristics that users are concerned about when viewing an image. For example, characteristic information showing the state of expression of characteristics to adapt to special shooting conditions such as low light or backlighting is conceivable.

逆に、特性情報としては、対応する特性が具体的に特定されている必要もない。例えば、温度によって特性が変化し、その結果として画質が変わる撮像素子の場合、温度に応じた画質への影響量が特性情報として扱われる。また、ゲインに応じて画質が変わる撮像素子の場合、ゲインに応じた画質への影響量が特性情報として扱われる。２つ以上の要素が特性に影響する場合、これらの要素に応じた画質への影響量が特性情報として扱われる。本実施形態では温度とゲインとの双方に特性の相関がある撮像素子を例として説明する。 Conversely, the characteristic information does not need to specify the corresponding characteristic. For example, in the case of an imaging element whose characteristics change with temperature, and as a result whose image quality changes, the amount of influence on image quality according to temperature is treated as characteristic information. Also, in the case of an imaging element whose image quality changes with gain, the amount of influence on image quality according to gain is treated as characteristic information. When two or more elements affect the characteristics, the amount of influence on image quality according to these elements is treated as characteristic information. In this embodiment, an imaging element whose characteristics are correlated with both temperature and gain will be described as an example.

撮像素子１１１の特性情報を取得するため、特性情報取得部１０３は撮影制御部１０２を通じて、温度検知素子１０７から現在の温度の情報を取得する。また、特性情報取得部１０３は撮影制御部１０２から、ゲイン設定で設定されたゲインの情報を取得する。なお、特性情報取得部１０３は、温度検知素子１０７から温度の情報を直接取得してもよい。特性情報取得部１０３は、特性が相関する情報を情報処理部１００の外部から取得してもよい。 To acquire characteristic information of the image sensor 111, the characteristic information acquisition unit 103 acquires current temperature information from the temperature detection element 107 via the imaging control unit 102. The characteristic information acquisition unit 103 also acquires gain information set in the gain setting from the imaging control unit 102. Note that the characteristic information acquisition unit 103 may acquire temperature information directly from the temperature detection element 107. The characteristic information acquisition unit 103 may acquire information with which characteristics are correlated from outside the information processing unit 100.

特性情報取得部１０３には、あらかじめ特性相関テーブル３０４が用意されていて、取得された温度とゲインの情報により特性相関テーブル３０４が参照されて現在の特性情報が決定される。一例として特性相関テーブル３０４は、各列が温度に対応し、各行がゲインに対応している。そして、特性相関テーブル３０４には、温度の行とゲインの列で決定される各位置に、撮像素子１１１が特性を０～１００％のレンジでどの程度発揮できているかを示す特性情報がマッピングされている。例えば、温度が７０℃でゲインが６０ｄＢの時、撮像素子１１１は特性を９０％発揮できているという特性情報が決定される。 The characteristic information acquisition unit 103 has a characteristic correlation table 304 prepared in advance, and the characteristic correlation table 304 is referenced based on the acquired temperature and gain information to determine the current characteristic information. As an example, in the characteristic correlation table 304, each column corresponds to a temperature, and each row corresponds to a gain. In the characteristic correlation table 304, characteristic information indicating to what extent the image sensor 111 is able to demonstrate its characteristics in the range of 0 to 100% is mapped to each position determined by the temperature row and the gain column. For example, when the temperature is 70°C and the gain is 60 dB, characteristic information is determined that the image sensor 111 is able to demonstrate 90% of its characteristics.

本実施形態では図４に示す特性相関テーブル３０４が特性情報の決定に用いられるが、特性情報取得部１０３では、例えば録画時に得られたゲインや温度が用いられて計算式で特性情報が導出されてもよい。また、本実施形態では温度とゲインに相関した特性情報が取得されるが、特性情報取得部１０３では、例えば時間経過により変化する特性について特性情報がテーブルや計算式で取得されてもよい。 In this embodiment, the characteristic correlation table 304 shown in FIG. 4 is used to determine the characteristic information, but the characteristic information acquisition unit 103 may use, for example, the gain and temperature obtained during recording to derive the characteristic information with a formula. Also, in this embodiment, characteristic information correlated with temperature and gain is acquired, but the characteristic information acquisition unit 103 may acquire characteristic information for characteristics that change over time, for example, with a table or a formula.

図４には、特性情報取得部１０３で取得された特性情報の一例を表形式で表した特性表４０１が示されている。図４に示す特性表４０１では、例えば撮影の開始から２０分後までの時間区間では、特性情報が１００％となっており、当該時間区間では撮像素子１１１の特性が常に１００％発揮できていたことが示されている。撮影された映像が記録される場合には特性情報も例えば特性表４０１の形式で記録される。 Figure 4 shows a characteristic table 401 that shows an example of characteristic information acquired by the characteristic information acquisition unit 103 in a table format. In the characteristic table 401 shown in Figure 4, for example, in the time period from the start of shooting until 20 minutes later, the characteristic information is 100%, indicating that the characteristics of the image sensor 111 were always able to be utilized at 100% in that time period. When the shot video is recorded, the characteristic information is also recorded in the form of, for example, the characteristic table 401.

図５は、撮像装置１０における映像再生の例を示す図である。
図３のＳ２０４における、特性情報を用いない映像再生の場合には、映像再生部１０５が映像データのみを映像再生装置１２０へ送信する。その結果、映像再生装置１２０の表示部には、図５に示す第１表示例４０２のように、映像データが表す映像（動画）４１０が表示される。 FIG. 5 is a diagram showing an example of video playback in the imaging device 10. As shown in FIG.
3, in the case of video playback without using characteristic information, the video playback unit 105 transmits only the video data to the video playback device 120. As a result, a video (moving image) 410 represented by the video data is displayed on the display unit of the video playback device 120, as in a first display example 402 shown in FIG.

一方、図３のＳ２０５における、特性情報を用いた映像再生の場合には、映像再生部１０５が特性情報取得部１０３から、特性表４０１が表すような特性情報を取得し、特性情報の通知と共に映像データを映像再生装置１２０へ送信する。その結果、映像再生装置１２０の表示部には、図５に示す第２表示例４０３のように、映像データが表す映像（動画）４１０と共に、特性情報の通知４１１が表示される。 On the other hand, in the case of video playback using characteristic information in S205 of FIG. 3, the video playback unit 105 acquires characteristic information such as that shown in the characteristic table 401 from the characteristic information acquisition unit 103, and transmits the video data together with a notification of the characteristic information to the video playback device 120. As a result, a notification of the characteristic information 411 is displayed on the display unit of the video playback device 120 together with the video (video) 410 represented by the video data, as in the second display example 403 shown in FIG. 5.

第２表示例４０３の場合は、通知４１１が映像４１０上に文字列として重畳して表示される。例えば映像４１０が２０～３０分の時間区間における映像である場合、特性表４０１の例では特性情報が８５％となっているので、映像４１０上には例えば「センサー性能：８５％」という文字列の通知４１１が表示される。つまり、第２表示例４０３の場合、映像再生部１０５は、特性の発揮程度を文字列で通知し、特性の発揮程度を動画上で通知する。 In the case of the second display example 403, the notification 411 is displayed as a character string superimposed on the video 410. For example, if the video 410 is video from a time period of 20 to 30 minutes, the characteristic information is 85% in the example of the characteristic table 401, so the notification 411 is displayed as the character string "Sensor performance: 85%" on the video 410. That is, in the case of the second display example 403, the video playback unit 105 notifies the degree to which the characteristic is exerted using a character string, and notifies the degree to which the characteristic is exerted on the video.

映像４１０上に通知４１１が表示されることにより、映像４１０を確認するユーザは、撮像素子１１１の特性がどの程度発揮されている状態での映像４１０であるかを認識することができる。従って、映像４１０の画質が悪い場合などに、原因が撮像素子１１１の特性にあるか否かの判断が可能となる。 By displaying the notification 411 on the image 410, the user viewing the image 410 can recognize the extent to which the characteristics of the image sensor 111 are being utilized in the image 410. Therefore, if the image quality of the image 410 is poor, it is possible to determine whether or not the cause is the characteristics of the image sensor 111.

映像再生部１０５は映像再生装置１２０に、第３表示例４０４のように映像４１０と通知４１２を表示させてもよい。第３表示例４０４の場合は、通知４１２が映像４１０外に文字列として表示される。つまり、第３表示例４０４の場合、映像再生部１０５は、特性の発揮程度を文字列で通知し、特性の発揮程度を動画外で通知する。
映像４１０外に表示された通知４１２でも、ユーザは、撮像素子１１１の特性がどの程度発揮されている状態での映像４１０であるかを認識することができる。また、通知４１２が映像４１０外に表示されることでユーザは通知４１２に邪魔されることなく映像４１０全体が確認できる。 The video playback unit 105 may cause the video playback device 120 to display the video 410 and the notification 412 as in the third display example 404. In the case of the third display example 404, the notification 412 is displayed as a character string outside the video 410. That is, in the case of the third display example 404, the video playback unit 105 notifies the degree of exertion of the characteristic by a character string, and notifies the degree of exertion of the characteristic outside the moving image.
Even with notification 412 displayed outside image 410, the user can recognize the state in which image 410 is in a state in which the characteristics of image sensor 111 are being exerted. Furthermore, since notification 412 is displayed outside image 410, the user can check the entire image 410 without being disturbed by notification 412.

また、映像再生部１０５は映像再生装置１２０に、第４表示例４０５のように映像４１０と通知４１３を表示させてもよい。第４表示例４０５の場合は、通知４１３が映像４１０外に表示され、特性情報が表す特性の発揮程度が図形で通知される。つまり、第４表示例４０５の場合、映像再生部１０５は特性の発揮程度を図形で通知する。
図形の通知４１３によってユーザは、特性の発揮程度を直感的に認識することができる。通知４１３に用いられる図形は、図５に例示された棒グラフに限られず円グラフなどであってもよい。
映像再生部１０５は映像再生装置１２０に、音声で通知を出力させてもよいし、映像４１０の時刻における特性の発揮程度以外の情報の通知を追加してもよい。 Furthermore, the video playback unit 105 may cause the video playback device 120 to display the video 410 and the notification 413 as in the fourth display example 405. In the case of the fourth display example 405, the notification 413 is displayed outside the video 410, and the degree to which the characteristic represented by the characteristic information is exerted is notified in a graphical form. That is, in the case of the fourth display example 405, the video playback unit 105 notifies the degree to which the characteristic is exerted in a graphical form.
The user can intuitively recognize the degree of exertion of the characteristic by the graphical notification 413. The graphical representation used in the notification 413 is not limited to the bar graph exemplified in Fig. 5, but may be a pie chart or the like.
The video playback unit 105 may cause the video playback device 120 to output a notification by voice, or may add a notification of information other than the degree to which the characteristics of the video 410 are being exhibited at the time.

図６は、追加で通知される情報の第１例を示す図である。
図６に示す第５表示例４０６では、第２表示例４０３と同様に映像４１０上に特性の発揮程度の通知４１１が表示されるとともに、映像４１０外に、映像４１０の時刻よりも未来の時点における特性の発揮程度の通知４２１が表示される。即ち、再生中の動画における時刻よりも将来に発揮される程度が通知される。図６では、一例として「５分後に撮像素子の性能は７０％に低下します。」という通知４２１が示されている。未来時点での特性の発揮程度が表示されることで、ユーザは、例えば画質劣化を事前に予想しながら映像４１０を確認することができる。 FIG. 6 is a diagram showing a first example of additional information to be notified.
In the fifth display example 406 shown in Fig. 6, a notification 411 of the degree of exertion of the characteristics is displayed on the image 410 in the same manner as in the second display example 403, and a notification 421 of the degree of exertion of the characteristics at a time in the future from the time of the image 410 is displayed outside the image 410. That is, the degree to which the characteristics will be exerted in the future from the time of the video being played is notified. In Fig. 6, as an example, a notification 421 is shown saying "The performance of the image sensor will decrease to 70% in 5 minutes." By displaying the degree to which the characteristics will be exerted at a future time, the user can check the image 410 while predicting, for example, deterioration of image quality in advance.

未来の時点としては５分後に限定されず、１分後や３０分後でもよいし１時間後でもよい。未来の時点における特性の発揮程度は、例えば映像再生部１０５によって、映像４１０の時刻までに得られている特性の発揮程度から予測されてもよい。あるいは、録画の再生である場合は、表示中の時刻よりも未来の時点で実際に得られた特性の発揮程度が通知されてもよい。 The future time point is not limited to 5 minutes from now, but may be 1 minute, 30 minutes, or even 1 hour from now. The degree of characteristic exertion at a future time point may be predicted, for example, by the video playback unit 105 from the degree of characteristic exertion obtained up to the time of the video 410. Alternatively, in the case of playback of a recorded video, the degree of characteristic exertion actually obtained at a time point in the future from the time being displayed may be notified.

図７は、追加で通知される情報の第２例を示す図である。
図７に示す第６表示例４０７では、図６の第５表示例４０６と同様に映像４１０と通知４１１が表示されるとともに、映像４１０外に、性能の改善に関する提案４２２が表示される。即ち、特性の発揮程度を、特性情報が表す発揮程度よりも改善する改善方法が提案される。図７では、一例として「現在の撮像素子の性能は７０％ですが、ファンの設定を強に変えることで性能が向上する可能性があります。」という提案４２２が示されている。提案４２２が表示されることによってユーザは、撮像素子１１１の性能改善を図ることができる。 FIG. 7 is a diagram showing a second example of the additional information to be notified.
In the sixth display example 407 shown in Fig. 7, an image 410 and a notification 411 are displayed in the same manner as in the fifth display example 406 in Fig. 6, and a suggestion 422 for improving performance is displayed outside the image 410. That is, an improvement method for improving the degree of performance of the characteristics to a level higher than the degree of performance represented by the characteristic information is suggested. In Fig. 7, as an example, the suggestion 422 is shown, "The current performance of the image sensor is 70%, but performance may be improved by changing the fan setting to strong." The suggestion 422 is displayed, allowing the user to improve the performance of the image sensor 111.

図８は、追加で通知される情報の第３例を示す図である。
図８に示す第７表示例４０８では、図６の第５表示例４０６と同様に映像４１０と通知４１１が表示されるとともに、映像４１０外に、撮像素子１１１の故障や劣化に関する判別結果の通知４２３が表示される。図８では、一例として「撮像素子の性能が予測値より低下しています。部品交換をオススメします。」という通知４２３が示されている。判別結果の通知４２３によりユーザは、撮像素子１１１の修理などを検討することができる。 FIG. 8 is a diagram showing a third example of additional information to be notified.
In the seventh display example 408 shown in Fig. 8, an image 410 and a notification 411 are displayed in the same manner as in the fifth display example 406 in Fig. 6, and a notification 423 of a determination result regarding a failure or deterioration of the imaging element 111 is displayed outside the image 410. In Fig. 8, as an example, the notification 423 is shown stating "The performance of the imaging element is lower than the predicted value. Part replacement is recommended." The notification 423 of the determination result allows the user to consider repairing the imaging element 111, etc.

撮像素子１１１の故障や劣化は、例えば映像再生部１０５によって、映像４１０の時刻よりも前に得られている特性の発揮程度からの外挿値と映像４１０の時刻での発揮程度との比較で判別されてもよい。あるいは、例えば特性情報取得部１０３によって撮影の継続時間などから予測値が算出され、特性相関テーブル３０４から得られる特性情報との比較で故障や劣化が判別されてもよい。 The failure or deterioration of the image sensor 111 may be determined, for example, by the video playback unit 105, by comparing an extrapolated value from the degree of characteristic exertion obtained before the time of the video 410 with the degree of exertion at the time of the video 410. Alternatively, for example, a predicted value may be calculated by the characteristic information acquisition unit 103 from the duration of shooting, and a failure or deterioration may be determined by comparing this with characteristic information obtained from the characteristic correlation table 304.

（その他の実施形態）
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)などとしての実施形態をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、Ｗｅｂアプリケーションなど)から構成されるシステムに適用されてもよいし、また、１つの機器からなる装置に適用されてもよい。 Other Embodiments
The present invention can be embodied as, for example, a system, an apparatus, a method, a program, or a recording medium (storage medium), etc. Specifically, the present invention may be applied to a system composed of multiple devices (for example, a host computer, an interface device, a Web application, etc.), or may be applied to an apparatus composed of a single device.

また本発明は、上述した実施形態の１以上の機能を実現するプログラム（コンピュータプログラム）を、ネットワークまたは記録媒体（記憶媒体）を介して、システムまたは装置に供給することによっても実現可能である。そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する。この場合、記録媒体から読み出されたプログラム（プログラムコード）自体が実施形態の機能を実現することになる。また、当該プログラムを記録した記録媒体は本発明を構成することができる。 The present invention can also be realized by supplying a program (computer program) that realizes one or more of the functions of the above-mentioned embodiments to a system or device via a network or a recording medium (storage medium). One or more processors in the computer of the system or device read and execute the program. In this case, the program (program code) read from the recording medium itself realizes the functions of the embodiment. Furthermore, the recording medium on which the program is recorded can constitute the present invention.

また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。 In addition, not only can the functions of the embodiments be realized by the computer executing a program that has been read out, but the functions of the above-described embodiments can also be realized by an operating system (OS) running on the computer performing some or all of the actual processing based on the instructions of the program.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されてもよい。 Furthermore, the program read from the recording medium may be written into a memory provided on a function expansion card inserted into the computer or a function expansion unit connected to the computer, and then a CPU provided on the function expansion card or function expansion unit may perform some or all of the actual processing based on the instructions of the program, thereby realizing the functions of the above-mentioned embodiments.

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムが格納されることになる。
なお、上記実施形態の開示は、以下の構成および方法を含む。 When the present invention is applied to the above-mentioned recording medium, the recording medium stores a program corresponding to the flowchart described above.
The disclosure of the above embodiment includes the following configurations and methods.

（構成１）
画質に関連する特性を有する撮像素子が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する取得手段と、
前記撮像素子で撮影された動画を再生する再生手段と、
前記動画の再生に並行して、当該動画の撮影中に取得された前記特性情報が表す前記程度を通知する通知手段と、
を備えたことを特徴とする情報処理装置。 (Configuration 1)
an acquisition means for acquiring characteristic information indicating a degree to which an image pickup element having a characteristic related to image quality exhibits the characteristic during shooting of a moving image;
a playback means for playing back the moving image captured by the imaging device;
a notification means for notifying, in parallel with the playback of the video, the degree represented by the characteristic information acquired during the shooting of the video;
An information processing device comprising:

（構成２）
前記通知手段は、前記程度を文字列で通知することを特徴とする構成１に記載の情報処理装置。 (Configuration 2)
2. The information processing apparatus according to configuration 1, wherein the notification means notifies the degree by a character string.

（構成３）
前記通知手段は、前記程度を図形で通知することを特徴とする構成１に記載の情報処理装置。 (Configuration 3)
2. The information processing apparatus according to configuration 1, wherein the notification means notifies the degree by a graphic form.

（構成４）
前記通知手段は、前記程度を前記動画上で通知することを特徴とする構成１から３のいずれか１つに記載の情報処理装置。 (Configuration 4)
4. The information processing device according to any one of configurations 1 to 3, wherein the notification means notifies the degree on the video.

（構成５）
前記通知手段は、前記程度を前記動画外で通知することを特徴とする構成１から３のいずれか１つに記載の情報処理装置。 (Configuration 5)
4. The information processing device according to any one of configurations 1 to 3, wherein the notification means notifies the degree outside the video.

（構成６）
再生中の前記動画における時刻よりも将来に発揮される前記程度を通知する第２通知手段を更に備えたことを特徴とする構成１から５のいずれか１つに記載の情報処理装置。 (Configuration 6)
6. The information processing device according to any one of configurations 1 to 5, further comprising a second notification means for notifying the degree that will be exerted in the future from the time in the video being played back.

（構成７）
前記特性情報が表す前記程度を改善する改善方法を提案する提案手段を更に備えたことを特徴とする構成１から６のいずれか１つに記載の情報処理装置。 (Configuration 7)
7. The information processing apparatus according to any one of configurations 1 to 6, further comprising a suggestion means for suggesting an improvement method for improving the degree represented by the characteristic information.

（構成８）
前記特性情報が表す前記程度に基づいて前記撮像素子の故障を判定して警告する警告手段を更に備えたことを特徴とする構成１から７のいずれか１つに記載の情報処理装置。
（構成９）
構成１から８のいずれか１つに記載の情報処理装置と、
前記撮像素子と、
を備えたことを特徴とする撮像装置。 (Configuration 8)
8. The information processing apparatus according to any one of configurations 1 to 7, further comprising a warning unit that determines a failure of the imaging element based on the degree represented by the characteristic information and issues a warning.
(Configuration 9)
An information processing device according to any one of configurations 1 to 8;
The imaging element;
An imaging device comprising:

（方法１）
画質に関連する特性を有する撮像素子が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する取得ステップと、
前記撮像素子で撮影された動画を再生する再生ステップと、
前記動画の再生に並行して、当該動画の撮影中に取得された前記特性情報が表す前記程度を通知する通知ステップと、
を有することを特徴とする情報処理方法。 (Method 1)
An acquisition step of acquiring characteristic information representing a degree to which an image pickup element having a characteristic related to image quality exhibits the characteristic during shooting of a moving image;
a playback step of playing back the moving image captured by the imaging device;
a notification step of notifying, in parallel with the playback of the video, the degree represented by the characteristic information acquired during the shooting of the video;
13. An information processing method comprising:

（構成１０）
コンピュータを、構成１から８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。 (Configuration 10)
A program for causing a computer to function as each of the means of the information processing device according to any one of configurations 1 to 8.

１０…撮像装置、 １００…情報処理部、 １０１…映像現像部、
１０２…撮影制御部、 １０３…特性情報取得部、 １０５…映像再生部、
１０７…温度検知素子、 １１０…レンズ部、 １１１…撮像素子、
１２０…映像再生装置、 ３０４…特性相関テーブル 10: Imaging device; 100: Information processing section; 101: Image development section;
102: Imaging control unit; 103: Characteristics information acquisition unit; 105: Video playback unit;
107: temperature detection element; 110: lens unit; 111: imaging element;
120: video playback device; 304: characteristic correlation table

Claims (11)

画質に関連する特性を有する撮像素子が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する取得手段と、
前記撮像素子で撮影された動画を再生する再生手段と、
前記動画の再生に並行して、当該動画の撮影中に取得された前記特性情報が表す前記程度を通知する通知手段と、
を備えたことを特徴とする情報処理装置。 an acquisition means for acquiring characteristic information indicating a degree to which an image pickup element having a characteristic related to image quality exhibits the characteristic during shooting of a moving image;
a playback means for playing back the moving image captured by the imaging device;
a notification means for notifying, in parallel with the playback of the video, the degree represented by the characteristic information acquired during the shooting of the video;
An information processing device comprising: 前記通知手段は、前記程度を文字列で通知することを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, characterized in that the notification means notifies the degree by a character string. 前記通知手段は、前記程度を図形で通知することを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, characterized in that the notification means notifies the degree in a graphical form. 前記通知手段は、前記程度を前記動画上で通知することを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, characterized in that the notification means notifies the degree on the video. 前記通知手段は、前記程度を前記動画外で通知することを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, characterized in that the notification means notifies the degree outside the video. 再生中の前記動画における時刻よりも将来に発揮される前記程度を通知する第２通知手段を更に備えたことを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, further comprising a second notification means for notifying the degree that will be exerted in the future from the time in the video being played. 前記程度を、前記特性情報が表す当該程度よりも改善する改善方法を提案する提案手段を更に備えたことを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, further comprising a suggestion means for proposing an improvement method for improving the degree to a level higher than the level represented by the characteristic information. 前記特性情報が表す前記程度に基づいて前記撮像素子の故障を判定して警告する警告手段を更に備えたことを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, further comprising a warning means for determining and warning of a failure of the imaging element based on the degree represented by the characteristic information. 請求項１から８のいずれか１項に記載の情報処理装置と、
前記撮像素子と、
を備えたことを特徴とする撮像装置。 An information processing device according to any one of claims 1 to 8;
The imaging element;
An imaging device comprising: 画質に関連する特性を有する撮像素子が当該特性を動画の撮影中に発揮した程度を表した特性情報を取得する取得ステップと、
前記撮像素子で撮影された動画を再生する再生ステップと、
前記動画の再生に並行して、当該動画の撮影中に取得された前記特性情報が表す前記程度を通知する通知ステップと、
を有することを特徴とする情報処理方法。 An acquisition step of acquiring characteristic information representing a degree to which an image pickup element having a characteristic related to image quality exhibits the characteristic during shooting of a moving image;
a playback step of playing back the moving image captured by the imaging device;
a notification step of notifying, in parallel with the playback of the video, the degree represented by the characteristic information acquired during the shooting of the video;
13. An information processing method comprising: コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each of the means of an information processing device according to any one of claims 1 to 8.

Images