JP2021132305A - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
JP2021132305A
JP2021132305A JP2020026696A JP2020026696A JP2021132305A JP 2021132305 A JP2021132305 A JP 2021132305A JP 2020026696 A JP2020026696 A JP 2020026696A JP 2020026696 A JP2020026696 A JP 2020026696A JP 2021132305 A JP2021132305 A JP 2021132305A
Authority
JP
Japan
Prior art keywords
coding
image
unit
reference picture
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020026696A
Other languages
English (en)
Inventor
宏之 林
Hiroyuki Hayashi
宏之 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020026696A priority Critical patent/JP2021132305A/ja
Priority to CN202110191722.XA priority patent/CN113286147A/zh
Priority to US17/179,880 priority patent/US20210266564A1/en
Publication of JP2021132305A publication Critical patent/JP2021132305A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】再符号化無しでの編集時に編集点の前後で時刻が連続した動画像データの作成を容易にするような符号化を行うこと。【解決手段】複数の入力画像を符号化する画像符号化装置であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信する受信部と、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、前記受信部が前記第１の指示を受信した場合または前記判定部が前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する符号化部と、前記判定部により前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する送信部と、を備える画像符号化装置。【選択図】図２

Description

本発明は、画像符号化装置および画像符号化方法に関する。
符号化効率を損なわずに画像ストリーム途中からでも迅速な再生及び容易な編集が可能な画像ストリームを出力する技術が知られている（例えば、特許文献１参照）。
また、符号化効率の低化を抑えながら、笑顔や泣き顔等の表情があるシーンを基準フレームとして作成し、迅速な再生及び容易な編集を行うことができる技術が知られている（例えば、特許文献２参照）。
特開２００６−３４０００１号公報 特開２０１０−１６１７４０号公報
動画像の符号化方式として、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣが知られている。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで使用されるピクチャのタイプとしては、同一画面内の情報のみから符号化するＩピクチャ、時間的に前のピクチャとの差分を利用して符号化するＰピクチャ、時間的に前のピクチャとの差分と時間的に後のピクチャとの差分との差分も利用できるＢピクチャがある。また、ＩＤＲ（Instant Decoder Refresh）ピクチャと呼ばれる自身より前のピクチャを参照画像として参照することを禁止する制限付きのＩピクチャがある。以下では、ＩピクチャとしてＩＤＲピクチャを使用する場合を説明する。
例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで符号化された動画像データを再生する場合、フレーム間参照が行われないＩＤＲピクチャから復号する必要がある。例えば、動画像データの途中のある時刻から再生（復号）する場合、当該時刻のピクチャがＩＤＲピクチャである場合には、当該時刻の箇所から再生できるが、当該時刻のピクチャがＩＤＲピクチャでない場合、当該時刻より前の直近のＩＤＲピクチャ若しくは当該時刻より後の直近のＩＤＲピクチャを探索し、探索したＩＤＲピクチャから再生する必要がある。よって、指定された時刻のピクチャがＩＤＲピクチャでない場合は、当該時刻の前または後ろのＩＤＲピクチャから復号を行う必要がある。これは、符号化された動画像データから（時間的に）不要な部分を削除する等の編集を行う場合も同様である。
図１は、従来の動画編集の例を説明する図である。
図１に示すように、例えば、２台のカメラ（第１のカメラおよび第２のカメラ）でそれぞれ異なるアングルから同時に同一の被写体を撮影し、それぞれのカメラで撮影されて符号化された２つの動画像データがあるとする。図１の上段は第１のカメラで撮影されて符号化された第1の動画像データ、中段は第２のカメラで撮影されて符号化された第２の動画像データを示す。図１の動画像データにおいて、ＩＤＲピクチャの箇所はＩＤＲと表記され、特に表記されていない箇所のピクチャのタイプはＰピクチャまたはＢピクチャである。
動画編集において、２つの動画像データを編集して１つの動画像データを作成する場合に、時刻ｔ１で第１の動画像データから第２の動画像データに切り替えると、第２の動画像データの時刻ｔ１のピクチャはＩＤＲピクチャでないため時刻ｔ１から使用できず、時刻ｔ１より後の時刻ｔ２のＩＤＲピクチャから再生（復号）される。このように、図１の下段に示す編集後の動画像データにおいて、時刻ｔ１から時刻ｔ２間の第２の動画像データは使用されず、編集後の動画像データでは、時刻ｔ０から時刻ｔ１までの第１の動画像データの後、時刻ｔ２からの第２の動画像データが結合されている。よって、編集後の動画像データでは、時刻ｔ０から時刻ｔ１までの第１の動画像データの後、時刻ｔ２からの第２の動画像データが再生される。
同様に、時刻ｔ３で第２の動画像データから第１の動画像データに切り替えると、第１の動画像データの時刻ｔ３のピクチャはＩＤＲピクチャでないため使用できず、時刻ｔ３より後の時刻ｔ４のＩＤＲピクチャから再生（復号）される。図１の下段に示す編集後の動画像データにおいて、時刻ｔ３から時刻ｔ４間の第１の動画像データは使用されない。よって、編集後の動画像データでは、時刻ｔ２から時刻ｔ３までの第２の動画像データの後、時刻ｔ４からの第１の動画像データが再生される。
図１の編集後の動画像データのように、編集元の２つの動画像データにおける時刻ｔ１からｔ２の箇所、および時刻ｔ３からｔ４の箇所は、編集後の動画像データからは抜けてしまう。
このように、再符号化なしで２つの動画像データを編集して１つの動画像データを作成する場合に、２つの動画像データの結合箇所である編集点の前後で時刻が不連続になってしまう場合がある。
尚、動画編集の際に動画像データを復号し、フレーム間参照を行わないピクチャ（例えば、ＩＤＲピクチャ）で再度符号化することで編集点の前後で時刻が連続した動画像データは可能である。例えば、図１の第２の動画像データにおいて、時刻ｔ１より前のＩＤＲピクチャから復号して、復号した動画像データをＩＤＲピクチャで再度符号化すれば、時刻ｔ１からの第２の動画像データを編集後の動画像データで利用することは可能となる。しかしながら、この場合、復号と符号化を両方行うため、処理コストが高くなるという問題がある。
本発明の一態様は、再符号化無しでの編集時に編集点の前後で時刻が連続した動画像データの作成を容易にするような符号化を行うことを目的とする。
本発明の一態様に係る画像符号化装置は、複数の入力画像を符号化する画像符号化装置であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信する受信部と、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、前記受信部が前記第１の指示を受信した場合または前記判定部が前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する符号化部と、前記判定部により前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する送信部と、を備える。
本発明の一態様に係る画像符号化装置は、複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置であって、前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチャを生成する第１の符号化部と、前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する第２の符号化部と、を備える。
本発明の一態様に係る画像符号化方法は、複数の入力画像を符号化する画像符号化装置の画像符号化方法であって、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信し、前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定し、前記第１の指示を受信した場合または前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成し、前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する、処理を備える。
本発明の一態様に係る画像符号化方法は、複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置の画像符号化方法であって、前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定し、第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチャを生成し、第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する、処理を備える。
従来の動画編集の例を説明する図である。 第１の実施の形態に係る画像符号化システムの構成図の一例である。 第１の実施の形態に係る画像符号化方法のフローチャートの一例である。 第１の実施の形態に係る画像符号化方法のシーケンス図の一例である。 第１の実施の形態に係る動画像データを用いた動画編集の例を説明する図である。 第２の実施の形態に係る画像符号化装置の構成図の一例である。 第２の実施の形態に係る画像符号化方法のフローチャートの一例である。
以下、実施の形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する
（第１の実施の形態）
図２は、第１の実施の形態に係る画像符号化システムの構成図の一例である。
画像符号化システム１０１は、画像符号化装置１１１、１２１を有する。画像符号化装置１１１と画像符号化装置１２１は、互いに通信可能である。また、画像符号化装置の数は、２つに限らず、３つ以上でもよい。
画像符号化装置１１１は、カメラ部１１２、制御部１１３、操作部１１４、符号化部１１５、通信部１１６、および記憶部１１７を有する。画像符号化装置１２１は、カメラ部１２２、制御部１２３、符号化部１２４、通信部１２５、および記憶部１２６を有する。画像符号化装置１１１，１２１は、例えば、ビデオカメラ、スマートフォン、またはパーソナルコンピュータ（ＰＣ）等の動画を撮影可能な装置である。
カメラ部１１２は、被写体の撮影を行い、非圧縮の画像データを制御部１１３および符号化部１１５に出力する。詳細には、例えば、カメラ部１１２は、レンズ、撮像部（例えば、ＣＣＤまたはＣＭＯＳ）、Ａ／Ｄ（アナログ／デジタル）変換部、および信号処理部等を有する。カメラ部１１２の撮像部は、レンズを介して入射した被写体光を受光し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、アナログ信号をデジタル信号に変換し、信号処理部に出力する。信号処理部は、Ａ／Ｄ変換部から入力されるデジタル信号に対して、ガンマ補正およびホワイトバランス補正等の処理を行い、非圧縮の画像データを生成し、非圧縮の画像データを制御部１１３および符号化部１１５に出力する。カメラ部１１２は、定期的（例えば、１／３０秒ごと）に非圧縮の画像データを制御部１１３および符号化部１１５に出力する。尚、カメラ部１１２は、画像符号化装置１１１の外部にあってもよい。
制御部１１３は、カメラ部１１２の制御を行う。例えば、ユーザによる操作部１１４への入力に基づいて、制御部１１３は、カメラ部１１２を制御して、パン、チルト、ズーム、またはオートフォーカス等を行う。さらに制御部１１３は、通信部１１６を介して、画像符号化装置１２１にＩＤＲピクチャでの符号化の指示を送信する。
さらに制御部１１３は、符号化部１１５による符号化の処理の制御を行う。具体的には、例えば、制御部１１３は、符号化部１１５による符号化の処理に際して、ピクチャのタイプ（例えば、ＩＤＲピクチャ、Ｐピクチャ、またはＢピクチャ）を判定（決定）し、判定したピクチャのタイプを指示（指定）する。具体的には、例えば、制御部１１３は、定期的（例えば、１秒毎）、またはカメラ部１１２のパン、チルト、ズーム、またはオートフォーカスの開始時または終了時に、ＩＤＲピクチャで符号化すると判定し、符号化部１１５にＩＤＲピクチャでの符号化を指示する。また、例えば、制御部１１３は、ＩＤＲピクチャで符号化すると判定しない場合には、符号化部１１５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する。さらに制御部１１３は、例えば、通信部１１６が画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信した場合、符号化部１１５にＩＤＲピクチャでの符号化を指示する。尚、制御部１１３は、例えば、通信部１１６を監視または画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信した旨の通知を通信部１１６から受信することで、通信部１１６が画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信したか否か判定する。制御部１１３は、判定部の一例である。
操作部１１４は、画像符号化装置１１１の操作、カメラ部１１２の操作、または画像符号化装置１１１へのデータの入力等を行うためのユーザからの入力を受け付ける。操作部１１４は、例えば、タッチパネル、押しボタン、またはスイッチ等である。
符号化部１１５は、制御部１１３からの指示に基づいて、カメラ部１１２により入力された非圧縮の画像データ（入力画像）を所定の符号化方式により符号化する。具体的には、例えば、符号化部１１５は、制御部１１３からＩＤＲピクチャでの符号化の指示を受信した場合（制御部１１３がＩＤＲピクチャで符号化すると判定し場合または通信部１１６が画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信した場合）、カメラ部１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部１１５は、制御部１１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。そして、符号化部１１５は、符号化により生成されたＩＤＲピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像データ（符号化ビットストリーム）を記憶部１１７に記憶する。符号化部１１５における所定の符号化方式は、ＩＤＲピクチャを使用可能な符号化方式であり、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）またはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（以下、Ｈ．２６５）等である。また、ＩＤＲピクチャは、フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャの一例である。
通信部１１６は、画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信する。また、通信部１１６は、制御部１１３の判定結果に基づいて、画像符号化装置１２１にＩＤＲピクチャでの符号化の指示を送信する。通信部１１６は、受信部および送信部の一例である。
記憶部１１７は、画像符号化装置１１１で利用されるプログラムおよびデータ、並びに画像符号化装置１１１で生成されたデータ等を記憶する。記憶部１１７は、符号化部１１５により生成された動画像データ（符号化ビットストリーム）を記憶する。記憶部１１７は、例えば、フラッシュメモリまたはＨＤＤ（ハードディスクドライブ）等の記憶装置である。また、記憶部１１７は、ＳＤメモリーカードまたはＵＳＢメモリ等の可搬型記録媒体でもよい。
また、画像符号化装置１１１は、カメラ部１１２が撮影した画像および記録部１１７に記憶された動画像データを表示する表示部をさらに備えてもよい。
画像符号化装置１２１のカメラ部１２２、制御部１２３、操作部１２４、符号化部１２５、通信部１２６、および記憶部１２７の機能は、カメラ部１１２、制御部１１３、操作部１１４、符号化部１１５、通信部１１６、および記憶部１１７の機能とそれぞれ同様であるため、説明は省略する。
図３は、第１の実施の形態に係る画像符号化方法のフローチャートの一例である。ここでは、画像符号化装置１１１の処理について説明する。尚、画像符号化装置１２１の処理は、画像符号化装置１１１の処理と同様であるため、説明は省略する。
ステップＳ３００において、ユーザによる操作部１１４への操作により、画像符号化装置１１１の電源が入力される。これにより、カメラ部１１２や制御部１１３等は動作を開始し、動画の撮影が可能になる。尚、図３のフローチャートには記載されていないが、カメラ部１１２への制御（例えば、ズーム、パン、またはチルト等）は、ユーザによる操作部１１４への操作に従って制御部１１３により適宜行われる。
ステップＳ３０１において、制御部１１３は、動画撮影が開始されたか否か判定し、動画撮影が開始されたと判定された場合、制御はステップＳ３０２に進む。例えば、ユーザによる操作部１１４への操作により、動画撮影開始の操作が行われると、制御部１１３は、操作部１１４への動画撮影開始の操作を検出し、動画撮影が開始されたと判定し（ステップＳ３０１：Ｙｅｓ）、カメラ部１１２および符号化部１１５を制御し、動画撮影を開始する。これにより、符号化部１１５は、カメラ部１１２により入力された非圧縮の画像データに対して所定の符号化方式による符号化を開始する。また、制御部１１３は、動画撮影の開始のタイミングを通信部１１６を介して画像符号化装置１２１に通知し、画像符号化装置１１１と画像符号化装置１２１の動画撮影開始のタイミング（詳細には、画像符号化装置１１１と画像符号化装置１２１の符号化のタイミング）を同期させてもよい。これにより、画像符号化装置１１１と画像符号化装置１２１において符号化されるＩＤＲピクチャの符号化タイミングにずれが出るのを防止できる。以下、入力される複数の非圧縮の画像データのうち符号化対象となる画像（符号化対象画像）の処理について説明する。
ステップＳ３０２において、制御部１１３は、符号化対象画像を定期のＩＤＲピクチャで符号化をするか否か判定する。具体的には、例えば、制御部１１３は、符号化対象画像を定期的（例えば、１秒ごと）にＩＤＲピクチャで符号化すると判定する。制御部１１３が符号化対象画像を定期のＩＤＲピクチャで符号化をすると判定した場合（ステップＳ３０２：Ｙｅｓ）、制御はステップＳ３０６に進み、制御部１１３が符号化対象画像を定期のＩＤＲピクチャで符号化をしないと判定した場合（ステップＳ３０２：Ｎｏ）、制御はステップＳ３０３に進む。また、制御部１１３は、カメラ１１２がズーム、パン、またはチルトを行っている間は、定期のＩＤＲピクチャの間隔をズーム、パン、またはチルトを行っていない時よりも長くしてもよい。また、ＩＤＲピクチャが多くなると符号化効率が低下するため、制御部１１３は、現時刻と直近の非定期のＩＤＲピクチャが符号化された時刻との間隔が所定の時間以下の場合、定期のＩＤＲピクチャで符号化をすると判定しなくてもよい。
ステップＳ３０３において、制御部１１３は、前回のステップＳ３０３の処理から今回のステップＳ３０３の処理までの間の期間（尚、ステップＳ３０３が初回の場合は、ステップＳ３０１から今回のステップＳ３０３の処理までの間の期間）に、通信部１１６が他の画像符号化装置（例えば、画像符号化装置１２１）からＩＤＲピクチャでの符号化の指示を受信したか否か判定する。制御部１１３は、上記期間に通信部１１６が他の画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信したと判定した場合（ステップＳ３０３：Ｙｅｓ）、制御はステップＳ３０６に進み、上記期間に通信部１１６が他の画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信していないと判定した場合（ステップＳ３０３：Ｎｏ）、制御はステップＳ３０４に進む。
ステップＳ３０４において、制御部１１３は、非定期のＩＤＲピクチャでの符号化をするか否か判定する。制御部１１３は、例えば、カメラ部１１２への制御に基づいて、非定期のＩＤＲピクチャでの符号化をするか否か判定する。具体的には、例えば、制御部１１３は、カメラ部１１２のズームの開始時または終了時、カメラ部１１２のパンの開始時または終了時、またはカメラ部１１２のチルトの開始時または終了時にＩＤＲピクチャで符号化すると判定する。また、例えば、制御部１１３は、カメラ部１１２のオートフォーカスの開始時または終了時にＩＤＲピクチャで符号化すると判定してもよい。また、制御部１１３は、例えば、カメラ部１１２により入力された入力画像に基づいて、非定期のＩＤＲピクチャでの符号化をするか否か判定してもよい。具体的には、例えば、制御部１１３は、入力画像の構図が良いと判定される区間の開始時または終了時、または入力画像の被写体が話している区間の開始時または終了時等にＩＤＲピクチャで符号化すると判定してもよい。尚、構図が良い画像とは、例えば、プロの写真家が撮影した画像であり、例えば、制御部１１３が機械学習により予めプロの写真家が撮影した画像を学習することで、各時刻の入力画像の構図が良いか否かを判定する。制御部１１３が非定期のＩＤＲピクチャでの符号化をすると判定した場合（ステップＳ３０４：Ｙｅｓ）、制御はステップＳ３０５に進み、制御部１１３が非定期のＩＤＲピクチャでの符号化をしないと判定した場合（ステップＳ３０４：Ｎｏ）、制御はステップＳ３０７に進む。
ステップＳ３０５において、制御部１１３は、通信部１１６を介して、他の画像符号化装置（例えば、画像符号化装置１２１）にＩＤＲピクチャでの符号化の指示を送信する。
ステップＳ３０６において、制御部１１３は、符号化部１１５にＩＤＲピクチャでの符号化を指示する（ＩＤＲ指定）。
ステップＳ３０７において、制御部１１３は、符号化部１１５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する（非ＩＤＲ指定）。
ステップＳ３０８において、符号化部１１５は、ステップＳ３０６またはステップＳ３０７で送信された制御部１１３からの指示に基づいて、カメラ部１１２により入力された非圧縮の画像データ（入力画像）を所定の符号化方式（例えば、Ｈ．２６４またはＨ．２６５等）により符号化する。具体的には、例えば、符号化部１１５は、制御部１１３からＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部１１５は、制御部１１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部１１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。以下、制御はステップＳ３０２に戻り、ステップＳ３０８で符号化した符号化対象画像の次に符号化される非圧縮の画像データを新たな符号化対象画像として、ステップＳ３０２〜Ｓ３０８の処理を符号化対象画像となる画像データが無くなるまで繰り返す。
図４は、第１の実施の形態に係る画像符号化方法のシーケンス図の一例である。図４は、上から順に、ユーザ操作、制御部１１３、通信部１１６、符号化部１１５により符号化された動画像データを示す。図４の符号化された動画像データにおいて、ＩＤＲはＩＤＲピクチャ、ＰはＰピクチャ、ＢはＢピクチャを示す。
先ず、ユーザによる操作部１１４への操作により、画像符号化装置１１１の電源が入力される（ステップＳ３００）。これにより、カメラ部１１２や制御部１１３等は動作を開始し、動画の撮影が可能になる。
そして、ユーザによる操作部１１４への操作により、動画撮影開始の操作が行われると（ステップＳ３０１）、制御部１１３は、操作部１１４への動画撮影開始の操作を検出し、カメラ部１１２および符号化部１１５を制御し、動画撮影を開始する。これにより、符号化部１１５は、カメラ部１１２により入力された非圧縮の画像データに対して所定の符号化方式による符号化を開始する。図４の符号化された動画像データは、最初から順にＩＤＲピクチャ、Ｐピクチャ、Ｂピクチャ・・・となる。
制御部１１３は、符号化対象画像を定期（例えば、１秒ごと）のＩＤＲピクチャで符号化すると判定する（ステップＳ３０２：Ｙｅｓ）。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
ユーザによる操作部１１４への操作により、カメラ部１１２のズームが開始され、制御部１１３は、非定期のＩＤＲピクチャで符号化すると判定し（ステップＳ３０４：Ｙｅｓ）、符号化部１１５にＩＤＲピクチャでの符号化を指示する。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
さらに、制御部１１３は、通信部１１６を介して、画像符号化装置１２１にＩＤＲピクチャでの符号化の指示を送信する（ステップＳ３０５）。
その後、ユーザによる操作部１１４への操作により、カメラ部１１２のズームが終了され、制御部１１３は、非定期のＩＤＲピクチャで符号化すると判定し（ステップＳ３０４：Ｙｅｓ）、符号化部１１５にＩＤＲピクチャでの符号化を指示する。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
そして、通信部１１６は像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信する。それにより、制御部１１３は、通信部１１６が他の画像符号化装置１２１からＩＤＲピクチャでの符号化の指示を受信したと判定し（ステップＳ３０３：Ｙｅｓ）、符号化部１１５にＩＤＲピクチャでの符号化を指示する。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
制御部１１３は、定期のＩＤＲピクチャで符号化すると判定してから、所定の時間（例えば、１秒）経過すると、再度、符号化対象画像を定期のＩＤＲピクチャで符号化すると判定する（ステップＳ３０２：Ｙｅｓ）。これにより、符号化部１１５は、符号化対象画像をＩＤＲピクチャで符号化し、ＩＤＲピクチャが生成される。
その後、ユーザによる操作部１１４への操作により、動画撮影の停止の操作が行われ、制御部１１３は、符号化部１１５による符号化の処理を停止する。そして、ユーザによる操作部１１４への操作により、画像符号化装置１１１の電源オフの操作がされると、制御部１１３は画像符号化装置１１１の電源をオフにする。
図５は、第１の実施の形態に係る動画像データを用いた動画編集の例を説明する図である。
例えば、符号化装置１１１のカメラ１１２と符号化装置１２１のカメラ部１２２で異なるアングルから同時に同一の被写体を撮影し、符号化装置１１１、１２１のそれぞれで符号化された２つの動画像データがあるとする。図５の上段は画像符号化装置１１１で符号化された第１の動画像データ、中段は画像符号化装置１２１で符号化された第２の動画像データ、下段は編集後の動画像データを示す。
例えば、時刻ｔ１において、画像符号化装置１１１のカメラ部１１２がズームを開始したため第１の動画像データに非定期のＩＤＲピクチャが生成される。これに応じて、画像符号化装置１１１から画像符号化装置１２１にＩＤＲピクチャでの符号化の指示が送信されるため、画像符号化装置１２１で符号化される第２の動画像データにおいても時刻ｔ１でＩＤＲピクチャが生成される。
また同様に、時刻ｔ３において、画像符号化装置１２１のカメラ部１２２がパンを開始したため第２の動画像データに非定期のＩＤＲピクチャが生成される。これに応じて、画像符号化装置１２１から画像符号化装置１１１にＩＤＲピクチャでの符号化の指示が送信されるため、画像符号化装置１１１で符号化される第１の動画像データにおいても時刻ｔ３でＩＤＲピクチャが生成される。
ここで、図１と同様に、カメラ部１１２のズーム中はカメラ部１２２で撮影した画像に切り替えるようなアングル切り替えの編集を行うとする。動画編集において、時刻ｔ１で第１の動画像データから第２の動画像データに切り替えると、第２の動画像データの時刻ｔ１のピクチャはＩＤＲピクチャであるので、第２の動画像データは時刻ｔ１のＩＤＲピクチャから再生（復号）される。
このように、図５の下段に示す編集後の動画像データにおいて、時刻ｔ０から時刻ｔ１までの第１の動画像データの後、時刻ｔ１からの第２の動画像データが結合されている。よって、編集後の動画像データでは、時刻ｔ０から時刻ｔ１までの第１の動画像データの後、時刻ｔ１からの第２の動画像データが再生される。
同様に、時刻ｔ３で第２の動画像データから第１の動画像データに切り替えると、第１の動画像データの時刻ｔ３のピクチャはＩＤＲピクチャであるため、時刻ｔ３のＩＤＲピクチャから再生（復号）される。図５の下段に示す編集後の動画像データでは、時刻ｔ１から時刻ｔ３までの第２の動画像データの後、時刻ｔ３からの第１の動画像データが再生される。
このように、２つの動画像データを編集して１つの動画像データを作成する場合に、ＩＤＲピクチャの時刻が同じとなる２つの動画像データを用いることで、編集点の前後で時刻が連続した動画像データの作成が容易になる。
上述の図１に示す従来の動画編集では、時刻ｔ１で第１の動画像データから第２の動画像データに切り替える編集をした場合、時刻ｔ１から時刻ｔ２間の第２の動画像データは編集後の動画像データで使用できなかったため、編集点の前後で時刻が不連続な動画像データが作成される。
一方、第１の実施の形態に係る動画像符号化装置による動画像データでは、図５に示すように、再符号化無しで編集点の前後で時刻が連続な動画像データを作成できる。
第１の実施の形態の動画像符号化装置によれば、自装置と他装置のそれぞれで符号化された複数の動画像データにおいて、非定期のＩＤＲピクチャの時刻を同じにすることができる。これにより、複数の動画像データを組み合わせて一つの動画像データに編集する場合、編集後の動画像データにおける編集点の前後で時刻が連続した動画像データの作成が容易となる
（第２の実施の形態）
第１の実施の形態では、２つの画像符号化装置１１１、１２１で符号化を行っているが、第２の実施の形態では２つのカメラ部を有する１つの画像符号化装置で符号化を行う場合を説明する。
図６は、第２の実施の形態に係る画像符号化装置の構成図の一例である。
画像符号化装置６１１は、カメラ部６１２，６２２、制御部６１３、操作部６１４、符号化部６１５，６２５、および記憶部６１７を有する。画像符号化装置６１１は、例えば、ビデオカメラ、スマートフォン、またはＰＣ等の動画を撮影可能な装置である。
カメラ部６１２は、被写体の撮影を行い、非圧縮の画像データを制御部６１３および符号化部６１５に出力する。カメラ部６２２は、被写体の撮影を行い、非圧縮の画像データを制御部６１３および符号化部６２５に出力する。カメラ部６１２，６２２の詳細な機能および構成は、カメラ部１１２の機能および構成と同様であるため説明は省略する。また、カメラ部６１２とカメラ６２２は、それぞれ異なる範囲を可能であり、例えば、カメラ部６１２とカメラ部６２２の一方は標準レンズを有し、他方は広角レンズを有する。また、例えば、カメラ部６１２とカメラ部６２２の一方は望遠レンズを有し、他方は標準レンズ（または広角レンズ）を有してもよい。カメラ部６１２は、定期的（例えば、１／３０秒ごと）に非圧縮の画像データを制御部６１３および符号化部６１５に出力する。カメラ部６２２は、定期的（例えば、１／３０秒ごと）に非圧縮の画像データを制御部６１３および符号化部６２５に出力する。
制御部６１３は、カメラ部６１２，６２２の制御を行う。例えば、制御部６１３は、ユーザによる操作部１１４への入力に基づいて、カメラ部６１２，６１３をそれぞれ制御して、パン、チルト、ズーム、またはオートフォーカス等を行う。
さらに制御部６１３は、符号化部６１５、６２５による符号化の処理の制御を行う。具体的には、例えば、制御部６１３は、符号化部６１５、６２５による符号化の処理に際して、ピクチャのタイプ（例えば、ＩＤＲピクチャ、Ｐピクチャ、またはＢピクチャ）を判定（決定）し、判定したピクチャのタイプを指示（指定）する。具体的には、例えば、制御部６１３は、定期的（例えば、１秒毎）に、ＩＤＲピクチャで符号化すると判定し、符号化部６１５にＩＤＲピクチャでの符号化を指示する。具体的には、例えば、制御部６１３は、カメラ部６１２のズームの開始時または終了時、カメラ部６１２のパンの開始時または終了時、カメラ部６１２のチルトの開始時または終了時、またはカメラ部６１２のオートフォーカスの開始時または終了時に、ＩＤＲピクチャで符号化すると判定し、符号化部６１５および符号化部６２５にＩＤＲピクチャでの符号化を指示する。具体的には、例えば、制御部６１３は、望遠レンズを有するカメラ部６１２により撮影された画像から被写体がフレームアウトした（撮影された画像に被写体が映っていない）が、標準レンズ（または広角レンズ）を有するカメラ部６２２により撮影された画像から被写体がフレーム内にいる（撮影された画像に被写体が映っている）場合、ＩＤＲピクチャで符号化すると判定する。具体的には、例えば、制御部６１３は、カメラ部６１２，６１３の少なくとも何れか一方のレンズが撮影者により覆われた場合、ＩＤＲピクチャで符号化すると判定する。尚、カメラ部６１２，６１３のレンズが撮影者により覆われているか否かは、例えば、制御部６１３が撮影された画像から判断する。
具体的には、例えば、制御部６１３は、定期的（例えば、１秒毎）に、ＩＤＲピクチャで符号化すると判定し、符号化部６２５にＩＤＲピクチャでの符号化を指示する。具体的には、例えば、制御部６１３は、カメラ部６２２のズームの開始時または終了時、カメラ部６２２のパンの開始時または終了時、カメラ部６２２のチルトの開始時または終了時、またはカメラ部６２２のオートフォーカスの開始時または終了時に、ＩＤＲピクチャで符号化すると判定し、符号化部６２５および符号化部６１５にＩＤＲピクチャでの符号化を指示する。
また、例えば、制御部６１３は、カメラ部６１２で撮像した画像データをＩＤＲピクチャで符号化すると判定しない場合には、符号化部６１５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する。例えば、制御部６１３は、カメラ部６２２で撮像した画像データをＩＤＲピクチャで符号化すると判定しない場合には、符号化部６２５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する。制御部６１３は、判定部の一例である。
操作部６１４は、画像符号化装置６１１の操作、カメラ部６１２、６２２の操作、または画像符号化装置６１１へのデータの入力等を行うためのユーザからの入力を受け付ける。操作部６１４は、例えば、タッチパネル、押しボタン、またはスイッチ等である。
符号化部６１５は、制御部６１３からの指示に基づいて、カメラ部６１２により入力された非圧縮の画像データ（第１の入力画像）を所定の符号化方式により符号化する。具体的には、例えば、符号化部６１５は、制御部６１３からＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部６１５は、制御部６１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。そして、符号化部６１５は、符号化により生成されたＩＤＲピクチャ、Ｐピクチャ、およびＢピクチャを含む符号化ビットストリームを記憶部６１７に記憶する。
符号化部６２５は、制御部６１３からの指示に基づいて、カメラ部６２２により入力された非圧縮の画像データ（第２の入力画像）を所定の符号化方式により符号化する。具体的には、例えば、符号化部６２５は、制御部６１３からＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６２２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部６２５は、制御部６１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６２２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。そして、符号化部６２５は、符号化により生成されたＩＤＲピクチャ、Ｐピクチャ、およびＢピクチャを含む動画像データ（符号化ビットストリーム）を記憶部６１７に記憶する。
符号化部６１５、６２５における所定の符号化方式は、ＩＤＲピクチャを使用可能な符号化方式であり、例えば、Ｈ．２６４またはＨ．２６５等である。
記憶部６１７は、画像符号化装置６１１で利用されるプログラムおよびデータ、並びに画像符号化装置６１１で生成されたデータ等を記憶する。記憶部６１７は、符号化部６１５、６２５により生成された動画像データ（符号化ビットストリーム）を記憶する。記憶部６１７は、例えば、フラッシュメモリまたはＨＤＤ等の記憶装置である。また、記憶部６１７は、ＳＤメモリーカードまたはＵＳＢメモリ等の可搬型記録媒体でもよい。
また、画像符号化装置６１１は、カメラ部６１２，６２２が撮影した画像および記録部６１７に記憶された動画像データを表示する表示部をさらに備えてもよい。
図７は、第２の実施の形態に係る画像符号化方法のフローチャートの一例である。
ステップＳ７００において、ユーザによる操作部６１４への操作により、画像符号化装置６１１の電源が入力される。これにより、カメラ部６１２，６２２や制御部６１３等は動作を開始し、動画の撮影が可能になる。
ステップＳ７０１において、制御部６１３は、動画撮影が開始されたか否か判定し、動画撮影が開始されたと判定された場合、制御はステップＳ７０２に進む。例えば、ユーザによる操作部６１４への操作により、動画撮影開始の操作が行われると、制御部６１３は、操作部６１４への動画撮影開始の操作を検出し、動画撮影が開始されたと判定し（ステップＳ７０１：Ｙｅｓ）、カメラ部６１２、６２２および符号化部６１５、６２５を制御し、動画撮影を開始する。これにより、符号化部６１５および符号化部６２５は、それぞれカメラ部６１２およびカメラ部６２２により入力された非圧縮の画像データに対して所定の符号化方式による符号化を開始する。以下、符号化部６１５および符号化部６２５のそれぞれ入力される複数の非圧縮の画像データ（複数の第１の入力画像および複数の第２の入力画像）のうち符号化部６１５および符号化部６２５のそれぞれにおいて符号化対象となる画像（符号化対象画像）の処理について説明する。
ステップＳ７０２において、制御部６１３は、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うか否かを示す非定期ＩＤＲ挿入フラグをｆａｌｓｅに設定する。非定期ＩＤＲ挿入フラグは、ｔｒｕｅの場合、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うことを示し、ｆａｌｓｅの場合、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行わないことを示す。尚、非定期ＩＤＲ挿入フラグは、例えば、制御部６１３に記憶される。また、非定期ＩＤＲ挿入フラグは、記憶部６１７または不図示のメモリ等に記憶され、制御部６１３により適宜読み書きされてもよい。
ステップＳ７０２の後、符号化部６１５の符号化の制御（詳細には符号化部６１５の符号化におけるピクチャのタイプの制御）に関するステップＳ７０３〜Ｓ７０９の処理、および符号化部６２５の符号化の制御（詳細には符号化部６２５の符号化におけるピクチャのタイプの制御）に関するステップＳ７１３〜Ｓ７１５、Ｓ７０６、Ｓ７１７〜Ｓ７１９の処理は、並列に実行される。以下、符号化部６１５の符号化の制御（詳細には符号化部６１５の符号化におけるピクチャのタイプの制御）に関するステップＳ７０３〜Ｓ７０９の処理の詳細について説明する。
ステップＳ７０３において、制御部６１３は、符号化対象画像を定期のＩＤＲピクチャで符号化をするか否か判定する。具体的には、例えば、制御部６１３は、符号化対象画像を定期的（例えば、１秒ごと）にＩＤＲピクチャで符号化すると判定する。制御部６１３が符号化部６１５における符号化対象画像を定期のＩＤＲピクチャで符号化をすると判定した場合（ステップＳ７０３：Ｙｅｓ）、制御はステップＳ７０７に進み、制御部６１３が符号化部６１５における符号化対象画像を定期のＩＤＲピクチャで符号化をしないと判定した場合（ステップＳ７０３：Ｎｏ）、制御はステップＳ７０４に進む。
ステップＳ７０４において、制御部６１３は、非定期のＩＤＲピクチャでの符号化をするか否か判定する。制御部６１３は、例えば、カメラ部６１２への制御またはカメラ部６１２により撮影された画像に基づいて、非定期のＩＤＲピクチャでの符号化をするか否か判定する。具体的には、例えば、制御部６１３は、カメラ部６１２のズームの開始時または終了時、カメラ部６１２のパンの開始時または終了時、カメラ部６１２のチルトの開始時または終了時、またはカメラ部６１２のオートフォーカスの開始時または終了時にＩＤＲピクチャで符号化すると判定する。また、具体的には、例えば、制御部６１３は、望遠レンズを有するカメラ部６１２により撮影された画像から被写体がフレームアウトしたが、標準レンズ（または広角レンズ）を有するカメラ部６２２により撮影された画像から被写体がフレーム内にいる場合、ＩＤＲピクチャで符号化すると判定してもよい。また、具体的には、例えば、制御部６１３は、カメラ部６１２，６１３の少なくとも何れか一方のレンズが撮影者により覆われた場合、ＩＤＲピクチャで符号化すると判定してもよい。また、具体的には、例えば、制御部６１３は、入力画像の構図が良いと判定される区間の開始時または終了時、または入力画像の被写体が話している区間の開始時または終了時等にＩＤＲピクチャで符号化すると判定してもよい。制御部６１３が符号化部６１５において非定期のＩＤＲピクチャでの符号化をすると判定した場合（ステップＳ７０４：Ｙｅｓ）、制御はステップＳ７０６進み、制御部６１３が符号化部６１５において非定期のＩＤＲピクチャでの符号化をしないと判定した場合（ステップＳ７０４：Ｎｏ）、制御はステップＳ７０５に進む。
ステップＳ７０５において、制御部６１３は、符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うか否かを示す非定期ＩＤＲ挿入フラグがｔｒｕｅまたはｆａｌｓｅのいずれかであるか判定する。制御部６１３がＩＤＲ挿入フラグがｔｒｕｅであると判定した場合、制御はステップＳ７０７に進み、制御部６１３がＩＤＲ挿入フラグがｆａｌｓｅであると判定した場合、制御はＳ７０８に進む。
ステップＳ７０６において、制御部６１３は、符号化部６１５、６２５それぞれの符号化対象画像に対して非定期のＩＤＲピクチャでの符号化を行うか否かを示す非定期ＩＤＲ挿入フラグをｔｒｕｅに設定する。符号化部６１５の符号化の制御において、ステップＳ７０６の処理の後、制御はステップＳ７０７に進む。後述するように、非定期ＩＤＲ挿入フラグは、符号化部６２５の符号化の制御においても使用され、非定期ＩＤＲ挿入フラグがｔｒｕｅの場合、制御部６２５の指示に応じて符号化部６２５は符号化対象画像をＩＤＲピクチャで符号化する。制御部６１３が符号化部６１５において非定期のＩＤＲピクチャでの符号化をすると判定した場合（ステップＳ７０４：Ｙｅｓ）、非定期ＩＤＲ挿入フラグをｔｒｕｅに設定する（ステップＳ７０６）ことで、後述の符号化部６２５の符号化の制御において、非定期ＩＤＲ挿入フラグがｔｒｕｅと判定され（ステップＳ７１５：Ｙｅｓ）、制御部６１３は符号化部６２５にＩＤＲピクチャでの符号化を指示する（ステップＳ７１７）。
ステップＳ７０７において、制御部６１３は、符号化部６１５にＩＤＲピクチャでの符号化を指示する（ＩＤＲ指定）。
ステップＳ７０８において、制御部６１３は、符号化部６１５に非ＩＤＲピクチャ（ＰピクチャまたはＢピクチャ）での符号化を指示する（非ＩＤＲ指定）。
ステップＳ７０９において、符号化部１１５は、ステップＳ７０７またはステップＳ７０８で送信された制御部６１３からの指示に基づいて、カメラ部６１２により入力された非圧縮の画像データ（入力画像）を所定の符号化方式（例えば、Ｈ．２６４またはＨ．２６５等）により符号化する。具体的には、例えば、符号化部６１５は、制御部６１３からＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム内予測符号化（イントラ符号化）してＩＤＲピクチャを生成する。また、例えば、符号化部６１５は、制御部６１３から非ＩＤＲピクチャでの符号化の指示を受信した場合、カメラ部６１２により入力された非圧縮の画像データを所定の符号化方式を用いてフレーム間予測符号化（インター符号化）してＰピクチャまたはＢピクチャを生成する。以下、制御はステップＳ７０２に戻り、ステップＳ７０９で符号化した符号化対象画像の次に符号化される非圧縮の画像データを新たな符号化対象画像として、ステップＳ７０２〜Ｓ７０９の処理を符号化対象画像となる画像データが無くなるまで繰り返す。
符号化部６２５の符号化の制御に関するステップＳ７１３〜Ｓ７１５、Ｓ７０６、Ｓ７１７〜Ｓ７１９の処理は、上述の符号化部６１５の符号化の制御に関するステップＳ７０３〜Ｓ７０９の処理の説明において、カメラ部６１２をカメラ部６２２、符号化部６１５を符号化部６２５にそれぞれ置き換えた処理と同様であるため詳細な説明は省略する。尚、符号化部６２５の符号化の制御において、ステップＳ７０６の処理の後、制御はステップＳ７１７に進む。
第２の実施の形態の画像符号化装置によれば、符号化部６１５、６２５のそれぞれで符号化された複数の動画像データにおいて、非定期のＩＤＲピクチャの時刻を同じにすることができる。これにより、複数の動画像データを組み合わせて一つの動画像データに編集する場合、編集後の動画像データにおける編集点の前後で時刻が連続した動画像データの作成が容易となる
（ソフトウェアによる実現例）
画像符号化装置１１１、１２１、６１１の制御ブロック（特に、制御部１１５、１２５、６１５、符号化部１１５、１２５、６１５）は、集積回路（ＩＣ（Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）によって実現可能であり、またＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、画像符号化装置１１１、１２１、６１１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体を介して上記コンピュータに供給されてよい。
なお、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
例えば、第１の実施の形態において、ＩＤＲピクチャで符号化するか否かの判定を符号化部１１５，１２５が行ってもよい。また、例えば、第２の実施の形態において、符号化部６１５の符号化の制御に関するステップＳ７０３〜Ｓ７０９の処理、および符号化部６２５の符号化の制御に関するステップＳ７１３〜Ｓ７１５、Ｓ７０６、Ｓ７１７〜Ｓ７１９の処理は、それぞれ異なる制御部で実行されてもよいし、符号化部６１５および符号化部６２５のそれぞれで実行されてもよい。その場合、各制御部または符号化部６１５、６２５は、自身がＩＤＲピクチャで符号化すると判定した場合、他の制御部または他の符号化部６２５、６１５に第１の実施の形態と同様にＩＤＲピクチャでの符号化の指示を送信する。
１０１ 画像符号化システム
１１１，１２１ 画像符号化装置
１１２，１２２ カメラ部
１１３，１２３ 制御部
１１４，１２４ 操作部
１１５，１２５ 符号化部
１１６，１２６ 通信部
１１７，１２７ 記憶部
６１１ 画像符号化装置
６１２，６２２ カメラ部
６１３ 制御部
６１４ 操作部
６１５，６２５ 符号化部
６１７ 記憶部

Claims (8)

  1. 複数の入力画像を符号化する画像符号化装置であって、
    フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信する受信部と、
    前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、
    前記受信部が前記第１の指示を受信した場合または前記判定部が前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する符号化部と、
    前記判定部により前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する送信部と、
    を備える画像符号化装置。
  2. 前記複数の入力画像を撮像するカメラ部をさらに備え、
    前記判定部は、前記カメラ部のズームの開始時または終了時、前記カメラ部のパンの開始時または終了時、前記カメラ部のチルトの開始時または終了時、または前記カメラ部のオートフォーカスの開始時または終了時に前記符号化対象画像を前記基準ピクチャで符号化すると判定する請求項１記載の画像符号化装置。
  3. 前記所定の符号化方式は、Ｈ．２６４またはＨ．２６５であり、
    前記基準ピクチャは、ＩＤＲピクチャであること特徴とする請求項１または２記載の画像符号化装置。
  4. 複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置であって、
    前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定する判定部と、
    前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチャを生成する第１の符号化部と、
    前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する第２の符号化部と、
    を備える画像符号化装置。
  5. 前記複数の第１の入力画像を撮像する第１のカメラ部および前記複数の第２の入力画像を撮像する第２のカメラ部をさらに備え、
    前記判定部は、前記第１カメラ部のズームの開始時または終了時、前記第１のカメラ部のパンの開始時または終了時、前記第１のカメラ部のチルトの開始時または終了時、または前記第１のカメラ部のオートフォーカスの開始時または終了時に前記第１の符号化対象画像を前記基準ピクチャで符号化すると判定し、前記第２カメラ部のズームの開始時または終了時、前記第２のカメラ部のパンの開始時または終了時、前記第２のカメラ部のチルトの開始時または終了時、または前記第２のカメラ部のオートフォーカスの開始時または終了時に前記第２の符号化対象画像を前記基準ピクチャで符号化すると判定する請求項４記載の画像符号化装置。
  6. 前記所定の符号化方式は、Ｈ．２６４またはＨ．２６５であり、
    前記基準ピクチャは、ＩＤＲピクチャであること特徴とする請求項４または５記載の画像符号化装置。
  7. 複数の入力画像を符号化する画像符号化装置の画像符号化方法であって、
    フレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャでの符号化の第１の指示を他の画像符号化装置から受信し、
    前記複数の入力画像のうちの符号化対象画像を前記基準ピクチャで符号化するか否か判定し、
    前記第１の指示を受信した場合または前記基準ピクチャで符号化すると判定した場合、所定の符号化方式を用いて前記符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成し、
    前記基準ピクチャで符号化すると判定された場合、前記基準ピクチャで符号化させる第２の指示を前記他の画像符号化装置に送信する、
    処理を備える画像符号化方法。
  8. 複数の第１の入力画像および複数の第２の入力画像を符号化する画像符号化装置の画像符号化方法であって、
    前記複数の第１の入力画像のうちの第１の符号化対象画像をフレーム間予測符号化において自身を飛び越しての参照画像の参照を禁止する基準ピクチャで符号化するか否か判定し、
    前記複数の第２の入力画像のうちの第２の符号化対象画像を前記基準ピクチャで符号化するか否か判定し、
    第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第１の符号化対象をフレーム内予測符号化して前記基準ピクチャを生成し、
    第２の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、または前記判定部が第１の符号化対象画像を前記基準ピクチャで符号化すると判定した場合、前記所定の符号化方式を用いて前記第２の符号化対象画像をフレーム内予測符号化して前記基準ピクチャを生成する、
    処理を備える画像符号化方法。
JP2020026696A 2020-02-20 2020-02-20 画像符号化装置および画像符号化方法 Pending JP2021132305A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020026696A JP2021132305A (ja) 2020-02-20 2020-02-20 画像符号化装置および画像符号化方法
CN202110191722.XA CN113286147A (zh) 2020-02-20 2021-02-19 图像编码装置及图像编码方法
US17/179,880 US20210266564A1 (en) 2020-02-20 2021-02-19 Image encoding apparatus and image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020026696A JP2021132305A (ja) 2020-02-20 2020-02-20 画像符号化装置および画像符号化方法

Publications (1)

Publication Number Publication Date
JP2021132305A true JP2021132305A (ja) 2021-09-09

Family

ID=77275884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020026696A Pending JP2021132305A (ja) 2020-02-20 2020-02-20 画像符号化装置および画像符号化方法

Country Status (3)

Country Link
US (1) US20210266564A1 (ja)
JP (1) JP2021132305A (ja)
CN (1) CN113286147A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4585919B2 (ja) * 2005-06-01 2010-11-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR101074964B1 (ko) * 2007-05-29 2011-10-18 닛본 덴끼 가부시끼가이샤 동화상 변환 장치, 동화상 변환 방법, 및 동화상 변환 프로그램
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP5100667B2 (ja) * 2009-01-09 2012-12-19 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP6331103B2 (ja) * 2013-03-21 2018-05-30 ソニー株式会社 画像復号装置および方法
JP7077141B2 (ja) * 2018-05-28 2022-05-30 シャープ株式会社 画像記録装置、画像記録方法およびプログラム

Also Published As

Publication number Publication date
CN113286147A (zh) 2021-08-20
US20210266564A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
KR101445204B1 (ko) 재생장치
US8036281B2 (en) Image coding apparatus and image coding method
JPWO2008035657A1 (ja) 監視映像蓄積システム
JP4771986B2 (ja) 画像符号化装置およびそれを用いた撮像装置
JP4785460B2 (ja) 撮像装置及び撮像方法
JP2008252874A (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
JP2009272921A (ja) 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路
JP2021132305A (ja) 画像符号化装置および画像符号化方法
JP5089544B2 (ja) 画像再生装置及びその制御方法
US8948573B2 (en) Image processing apparatus
JP2005175974A (ja) 撮像装置
JP2006340001A (ja) 画像符号化装置及び画像符号化方法
JP2007049651A (ja) 画像処理装置、及び制御方法
JP4574530B2 (ja) 画像符号化装置及び画像符号化方法
JP2007184909A (ja) 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
JP4594163B2 (ja) 画像符号化方法、及び画像符号化装置
JP4564856B2 (ja) 画像符号化装置及び撮像装置
JP2005217493A (ja) 撮像装置
JP2009081727A (ja) 画像符号化装置及びその制御方法、プログラム
JP6294725B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及び、プログラム
JP2013055532A (ja) 撮像装置及びプログラム
JP2007159056A (ja) 符号化装置及び方法、及び撮像装置
JP2013005054A (ja) 再生装置及び再生方法
US9311963B2 (en) Recording apparatus and control method thereof
JP3645254B2 (ja) 画像データ記録システムおよび画像データ記録方法