JP5532661B2 - 画像抽出プログラムおよび画像抽出装置 - Google Patents
画像抽出プログラムおよび画像抽出装置 Download PDFInfo
- Publication number
- JP5532661B2 JP5532661B2 JP2009095983A JP2009095983A JP5532661B2 JP 5532661 B2 JP5532661 B2 JP 5532661B2 JP 2009095983 A JP2009095983 A JP 2009095983A JP 2009095983 A JP2009095983 A JP 2009095983A JP 5532661 B2 JP5532661 B2 JP 5532661B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- extracted
- images
- extraction
- viewer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims description 74
- 238000000034 method Methods 0.000 claims description 62
- 238000004458 analytical method Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 244000178870 Lavandula angustifolia Species 0.000 description 8
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 8
- 239000001102 lavandula vera Substances 0.000 description 8
- 235000018219 lavender Nutrition 0.000 description 8
- 230000008774 maternal effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000035622 drinking Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008775 paternal effect Effects 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000001983 hard palate Anatomy 0.000 description 1
- 201000000615 hard palate cancer Diseases 0.000 description 1
- SNICXCGAKADSCV-UHFFFAOYSA-N nicotine Chemical compound CN1CCCC1C1=CC=CN=C1 SNICXCGAKADSCV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
(2) 請求項2の発明の画像抽出プログラムは、請求項1に記載の画像抽出プログラムにおいて、発話者の種別は、性別または年齢である。
(3) 請求項3の発明の画像抽出プログラムは、請求項1に記載の画像抽出プログラムにおいて、解析手順では、音声を解析して会話内容を認識し、抽出手順では、解析手順で認識された会話内容に応じた画像を抽出する。
(4) 請求項4の発明の画像抽出プログラムは、請求項1に記載の画像抽出プログラムにおいて、抽出手順では、解析手順で特定された発話者に関連する画像を抽出する。
(5) 請求項5の発明の画像抽出プログラムは、請求項1に記載の画像抽出プログラムにおいて、抽出手順では、解析手順で特定された発話者と相関関係のある人物に関連する画像を抽出する。
(6) 請求項6の発明の画像抽出装置は、複数の画像を記憶する記憶装置と、請求項1〜5のいずれか一項に記載の画像抽出プログラムを実行し、記憶装置に記憶されている複数の画像の中から画像を抽出するコンピューターと、コンピューターにより抽出された画像を表示する表示装置とを備える。
記憶装置2に記憶された画像を用いてスライドショーを行う場合に、マイクロフォン4で集音される音声データ、あるいは撮像装置3により撮像された画像データをもとに、スライドショーの視聴者を判定し、視聴者に応じた画像を抽出して再生するようにした第1の実施の形態を説明する。画像データによる視聴者の識別は個人認証により行い、音声データによる視聴者の識別は声紋解析により行う。声紋による個人認識は、例えば特開2007−233075号公報に開示されている手法などを用いる。すなわち、複合信号を窓関数に通し周波数ベクトルを計算して得られた周波数や信号成分の強さなどの情報を、声紋として予め個人ごとに記憶装置2に記憶しておき、マイクロフォン4で集音した視聴者の音声データを解析した声紋情報と照合して話者を特定するとともに、その発話内容を記憶装置2に記憶されている言葉などと照合して認識する。また、声道の長さ、硬口蓋の長さ、声を発するための声道の形の調整の仕方(調音)が男女、成人、子供により異なるため、ホルマント(音声波形のスペクトルの中で特にエネルギーが集中している周波数成分)、基本周波数(声帯の振動周期の逆数)、音声波の音圧レベルをもとに男性、女性、子供の声を識別する。もちろん、これらを撮像装置3で撮像された画像データのみを用いて識別することもできるし、上述した音声解析と画像解析とを併用してもよい。
また、「カラーテレビ画像の好ましい色再現」(西村、太田著、映像メディア学会誌(旧テレビジョン学会誌)Vol.28 No.8(1974) pp623-632)には、被験者の性別により好みの色(膚色)に差が見られることが示されている(男性の方が黄色方向よりにある)。このような性別差を考慮し、視聴者の性別を認識し、認識結果に応じて各性別で好ましいと判断される、例えば膚色画像などの色を有する画像を抽出、選択する構成としてもよい。例えば、顔検出領域の膚色のx、y色度値を算出することで当該画像中の膚色が、男女何れが好みの色かを判別することができる。
スライドショーを行うための画像の他の抽出方法を説明する。記憶装置2に記憶されている画像の中から画像を抽出し、スライドショーを行う場合に、視聴者の言葉を認識し、認識結果に関連する画像を抽出し、次の再生画像とする。記憶装置2に記憶されている画像データには、解析・処理部6bにより行われた認識の結果と、GPS情報を含む各種撮影情報とが関連づけて記憶されている。視聴者が話す言葉はマイクロフォン4により集音され、その内容は解析・処理部6bにより解析されて認識される。例えば、視聴者の会話の中に「入学式のNaoちゃん可愛かったねー」という言葉が認識された場合には、記憶装置2に記憶されている画像の中から笑顔度の一番高いNaoちゃんの画像が抽出され再生される。また、会話の流れの中で飲み会でのLさんの歌が話題になった場合には、飲み会イベントが写されている画像の中で、Lさんが歌を歌っている画像が抽出され再生される。
次に、視聴者によって画像抽出の基準を変更する実施の形態を説明する。図4は、視聴者によって画像抽出基準を変更する場合の画像抽出プログラムを示すフローチャートである。なお、ここでは記憶装置2に100枚の画像が記憶されており、それらの画像の中から基準にしたがって画像を抽出する例を示す。ステップ21において、操作者が図3に示す人物相関図の中のNaoちゃんと親しいかどうかを判別する。撮像装置3により撮像した操作者の顔と、マイクロフォン4により集音した操作者の声紋をそれぞれ記憶装置2に記録されている人物ごとの顔および声紋のデータと照合し、図3に示す人物相関図を参照してNaoちゃんとどの程度親しいかを判別する。なお、人物の顔や声紋のデータの記憶装置2への登録は、操作者により手動で行うか、あるいは同一人物の顔や声紋を所定回数(例えば5回)取得したら自動的に登録する。
また、第3の実施の形態によれば、集音された音声を解析して発話者(視聴者)を特定し、発話者に応じて画像を抽出する基準を変更するようにしたので、視聴者ごとに適切な画像を自動的に提示することができる。さらには、撮像した画像を解析した結果得られた操作者の情報に基づいて、画像を抽出する基準を変更するようにしたので、視聴者ごとに適切な画像を自動的に提示することができる。
旅行先で撮影した多くの画像を旅行先ごとに分類することがある。このような場合の画像抽出方法を説明する。図5は旅行先ごとの画像抽出プログラムを示すフローチャートである。ここでは、記憶装置2の所定フォルダに100枚の画像が記憶されており、それらの画像の中から基準にしたがって画像を抽出する例を示す。ステップ41において、画像抽出の目的が年賀状を作成する目的かどうかを判別する。年賀状を作成する場合にはステップ42へ進み、記憶装置2に記憶されている画像の中から、観光地で撮影された画像を抽出する。各画像には撮影場所と撮影方向の情報(GPS情報)が記録されており、この情報に基づいて観光地ごとに画像を抽出する。例えば、日光東照宮、ドゥオモ、エッフェル塔、サグラダファミリア、バッキンガム宮殿、万里の長城などの観光地ごとに75枚の画像が抽出されたとする。
特定の人物の人物相関図に基づいて画像を抽出する実施の形態を説明する。図6は人物相関図に基づく画像抽出プログラムを示すフローチャートである。ステップ61において、コンピューター6の解析・処理部6bは、記録媒体2aから読み出され記憶装置2に記憶されている画像を、撮影日時情報を用いて時間軸でクラスタリングし、ある特定のイベントで撮影されたと考えられる画像群を検索する。
画像に写っているイベントを識別し、イベントに応じて画像抽出の基準を変更する第6の実施の形態を説明する。コンピューター6の解析・処理部6bは、記録媒体2aから読み出され、記憶装置2に記憶されている画像を、撮影日時情報を用いて時間軸でクラスタリングするとともに、被写体認識によりクラスタリングを行い、ある特定のイベントで撮影されたと考えられる画像群を検索する。例えば、最初に撮影した画像とその日の最後に撮影した画像に写っている人物の多くが共通しており、ホワイトバランスの制御値が同じである場合には、その間に撮影された画像はある特定のイベントで撮影された画像であると判定する。
次に、他のアプリケーションプログラム(例えばブログ)による画像の選択結果に基づいて画像を抽出する方法を説明する。一般に、記録されている画像の中からパソコンの壁紙に使用する画像を選択したり、ブログに貼り付ける画像を選択することがある。例えば、上述した人物相関図の中の父が毎日ブログ、つまり一実施の形態の画像抽出プログラムとは別のアプリケーションプログラムを実行する場合には、制御部6aおよび解析・処理部6bによりブログに選択される画像の傾向を認識し、選択傾向に基づいてパソコンの壁紙にする画像の候補を抽出するようにしてもよい。ブログに貼り付けられる画像の傾向として犬が写っている画像が多いと認識された場合には、記憶装置2に記憶されている画像の中から犬に関する画像を抽出し、壁紙候補として提示する。このとき、図3に示す人物相関図にしたがって、自分のペットであるヒナちゃんの画像がコロちゃんよりも優先的に抽出される。
雑誌や新聞を編集する際に、掲載する画像を選択するための画像抽出方法を説明する。雑誌や新聞に記事とともに画像を掲載する場合には、記事の内容に適した画像を選択しなければならない。例えば、記事の文章が「**省の官僚○○は、xxxx年yy月zz日の記者会見において、これより前に行われた記者との懇親会食における飲酒の影響か、途中眠ったように意識がおかしい状況であった」というような場合には、この文章を解析した結果に基づいて、xxxx年yy月zz日に撮影された画像を各画像の撮影日時情報に基づいて抽出し、それらの画像の中から**省の官僚○○が写っている画像を個人認証を行って抽出する。さらに、抽出された画像の中から上述した方法で目をつぶっている画像を抽出する。
多くの画像を複数のグループに分類したときに、各画像グループにどのような画像が含まれているかを容易に把握するために、各グループを代表する画像をインデックス画像として表示することがある。このような場合に、各画像に対して人物の表情認識を行って人物の表情を代表する画像をインデックス画像として抽出することができる。例えば、インタビューの際に、怒っている人がふと笑ったような動画像や連写画像などの場合には、怒っている画像と笑っている画像とがインデックス画像として抽出される。このような主要被写体の異なった表情をインデックス画像とすることができる。
Claims (6)
- 集音された音声を解析し、発話者を特定する解析手順と、
複数の画像の中から、前記解析手順における前記音声の解析結果に応じた画像を抽出する抽出手順と、
前記解析手順で特定された発話者の種別に応じて、画像を抽出する基準を変更する変更手順と、をコンピュータに実行させることを特徴とする画像抽出プログラム。 - 請求項1に記載の画像抽出プログラムにおいて、
前記発話者の種別は、性別または年齢であることを特徴とする画像抽出プログラム。 - 請求項1に記載の画像抽出プログラムにおいて、
前記解析手順では、前記音声を解析して会話内容を認識し、
前記抽出手順では、前記解析手順で認識された前記会話内容に応じた画像を抽出することを特徴とする画像抽出プログラム。 - 請求項1に記載の画像抽出プログラムにおいて、
前記抽出手順では、前記解析手順で特定された前記発話者に関連する画像を抽出することを特徴とする画像抽出プログラム。 - 請求項1に記載の画像抽出プログラムにおいて、
前記抽出手順では、前記解析手順で特定された前記発話者と相関関係のある人物に関連する画像を抽出することを特徴とする画像抽出プログラム。 - 複数の画像を記憶する記憶装置と、
請求項1〜5のいずれか一項に記載の画像抽出プログラムを実行し、前記記憶装置に記憶されている前記複数の画像の中から画像を抽出するコンピューターと、
前記コンピューターにより抽出された前記画像を表示する表示装置とを備えることを特徴とする画像抽出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095983A JP5532661B2 (ja) | 2009-04-10 | 2009-04-10 | 画像抽出プログラムおよび画像抽出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095983A JP5532661B2 (ja) | 2009-04-10 | 2009-04-10 | 画像抽出プログラムおよび画像抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010251841A JP2010251841A (ja) | 2010-11-04 |
JP5532661B2 true JP5532661B2 (ja) | 2014-06-25 |
Family
ID=43313729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009095983A Active JP5532661B2 (ja) | 2009-04-10 | 2009-04-10 | 画像抽出プログラムおよび画像抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5532661B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012124252A1 (ja) * | 2011-03-14 | 2012-09-20 | 株式会社ニコン | 電子機器、電子機器の制御方法およびプログラム |
JP2013012993A (ja) * | 2011-06-30 | 2013-01-17 | Nikon Corp | 画像処理装置、撮像装置および画像処理プログラム |
US20140330684A1 (en) * | 2011-12-07 | 2014-11-06 | Nikon Corporation | Electronic device, information processing method and program |
JP2015104078A (ja) | 2013-11-27 | 2015-06-04 | オリンパス株式会社 | 撮像装置、撮像システム、サーバ、撮像方法、及び撮像プログラム |
DE112018008012T5 (de) * | 2018-09-25 | 2021-06-17 | Mitsubishi Electric Corporation | Informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100347710B1 (ko) * | 1998-12-05 | 2002-10-25 | 엘지전자주식회사 | 등장인물들의관계중심동영상검색데이터구성방법및검색방법 |
JP2005352933A (ja) * | 2004-06-14 | 2005-12-22 | Fuji Xerox Co Ltd | 表示装置、システムおよび表示方法 |
WO2006022071A1 (ja) * | 2004-08-25 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | 映像表示装置及び映像表示方法 |
JP2007281618A (ja) * | 2006-04-03 | 2007-10-25 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2008160232A (ja) * | 2006-12-21 | 2008-07-10 | Funai Electric Co Ltd | 映像音声再生装置 |
JP2008294722A (ja) * | 2007-05-24 | 2008-12-04 | Panasonic Corp | 動画再生装置および動画再生方法 |
JP5128880B2 (ja) * | 2007-08-30 | 2013-01-23 | オリンパスイメージング株式会社 | 画像取扱装置 |
JP2009071480A (ja) * | 2007-09-12 | 2009-04-02 | Sony Corp | 撮像装置、撮像方法、およびプログラム |
-
2009
- 2009-04-10 JP JP2009095983A patent/JP5532661B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010251841A (ja) | 2010-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8548249B2 (en) | Information processing apparatus, information processing method, and program | |
WO2017157272A1 (zh) | 一种信息处理方法及终端 | |
JP4612772B2 (ja) | 画像処理方法、画像処理装置、コンピュータ読み取り可能な記憶媒体 | |
US10679063B2 (en) | Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics | |
CN111480156A (zh) | 利用深度学习选择性存储视听内容的***和方法 | |
CN103179330B (zh) | 照相机、图像显示装置和图像显示方法 | |
JP2019114243A (ja) | 撮像装置および学習方法 | |
CN101262561B (zh) | 成像设备及其控制方法 | |
US20110243452A1 (en) | Electronic apparatus, image processing method, and program | |
KR20140076632A (ko) | 얼굴 검출을 이용한 이미지 재구성 | |
JP5532661B2 (ja) | 画像抽出プログラムおよび画像抽出装置 | |
JP2010066844A (ja) | 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム | |
JP6783479B1 (ja) | 動画生成プログラム、動画生成装置及び動画生成方法 | |
US9525841B2 (en) | Imaging device for associating image data with shooting condition information | |
Merchant | (Re) constructing the tourist experience? Editing experience and mediating memories of learning to dive | |
CN109949392A (zh) | 动画发送*** | |
JP2010021721A (ja) | カメラ | |
Sandbye | Play, Process and Materiality in Japanese Purikura Photography | |
CN110166345A (zh) | 资源分享方法、资源获取方法、装置和存储介质 | |
O'Connor et al. | Photo provocations: Thinking in, with, and about photographs | |
JP2017045374A (ja) | 情報処理装置及びプログラム | |
WO2020158536A1 (ja) | 情報処理システム、情報処理方法および情報処理装置 | |
US20210390134A1 (en) | Presentation file generation | |
Lutnesky | Women Over 50 Club: Age and TikTok Dancing in the COVID-19 Pandemic | |
Merchant | Souvenir or Reconstruir? Editing Experience and Mediating Memories of Learning to Dive |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5532661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140414 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |