JP2016143310A - 情報処理装置、画像処理方法及びプログラム - Google Patents

情報処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2016143310A
JP2016143310A JP2015019998A JP2015019998A JP2016143310A JP 2016143310 A JP2016143310 A JP 2016143310A JP 2015019998 A JP2015019998 A JP 2015019998A JP 2015019998 A JP2015019998 A JP 2015019998A JP 2016143310 A JP2016143310 A JP 2016143310A
Authority
JP
Japan
Prior art keywords
content
information
display
user
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015019998A
Other languages
English (en)
Inventor
拓也 藤田
Takuya Fujita
拓也 藤田
淳史 野田
Atsushi Noda
淳史 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015019998A priority Critical patent/JP2016143310A/ja
Priority to US15/540,095 priority patent/US20170371524A1/en
Priority to PCT/JP2016/052453 priority patent/WO2016125672A1/ja
Publication of JP2016143310A publication Critical patent/JP2016143310A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御が可能な情報処理装置、画像処理方法及びプログラムを提案する。
【解決手段】取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、を備える情報処理装置。
【選択図】図1

Description

本開示は、情報処理装置、画像処理方法及びプログラムに関する。
近年、人は数多くの画像や音楽等のコンテンツに日常的に接している。また、人がコンテンツに接する状況は多様になってきている。そのため、人がコンテンツに接する状況により適した形態で、コンテンツを提供するための技術が求められている。
例えば、下記特許文献1には、メニュー画面に含まれる大きさの異なる複数の枠において提供される複数の情報に関し、過去の利用履歴に基づいて優先度を設定し、情報の各々に優先度に応じた枠を割り当てる技術が開示されている。
特開2001−125919号公報
しかし、上記特許文献1に記載された技術では、複数の情報を優先順位に従った大きさで提供することが可能になるに過ぎなかった。近年では、人がコンテンツを閲覧する目的、タイミング及び環境等の、人とコンテンツの関係性が多様になってきていることを考慮すれば、コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御が可能になることが望ましい。
本開示によれば、取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、を備える情報処理装置が提供される。
また、本開示によれば、取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御をプロセッサにより行うこと、を含む画像処理方法が提供される。
また、本開示によれば、コンピュータを、取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御が可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理装置の概要を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係るコンテンツの解析処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理の一例を説明するための図である。 本実施形態に係る表示画像の生成処理に関する設定画面の一例を説明するための図である。 本実施形態に係る情報処理装置において実行される表示画像の出力処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.構成例
3.動作処理例
4.ハードウェア構成例
5.まとめ
<<1.概要>>
まず、図1を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。
図1は、本実施形態に係る情報処理装置の概要を説明するための図である。図1では、情報処理装置によりコンテンツから生成される表示画像の一例を示している。符号10はコンテンツを示し、符号20は表示画像を示している。本実施形態では、画像(静止画像/動画像)、Webページ、文字列又は音等を、コンテンツとも称する。また、コンテンツに基づいて描画された画像を、表示画像とも称する。一般的な装置においては、コンテンツはそのまま描画されて表示画像が生成される。これに対し、本実施形態に係る情報処理装置は、コンテンツの全部又は一部を変換して描画することで表示画像を生成する。例えば、図1に示した例では、コンテンツ10のうち文字列11が、表示画像20では文字列21に拡大されている。また、コンテンツ10のうち文字列12が、表示画像20では文字列22に縮小されている。
本実施形態に係る情報処理装置は、コンテンツの内容及びコンテンツとユーザとの関係性を示す情報に基づいて、表示画像を生成する。コンテンツとユーザとの関係性は、多様に考えらえる。以下では、コンテンツとユーザとの関係性をコンテキストとも称し、コンテンツとユーザとの関係性を示す情報をコンテキスト情報とも称する。本実施形態に係る情報処理装置は、コンテンツの内容及びコンテキスト情報に基づいてコンテンツを変換することで表示画像を生成する。ユーザは、コンテンツの内容及び自身のコンテキストに合った表示画像を閲覧することが可能であるので、ユーザの利便性が向上する。
以上、本実施形態に係る情報処理装置の概要を説明した。続いて、図2〜図7を参照して、本実施形態に係る情報処理装置の構成例を説明する。
<<2.構成例>>
図2は、本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。図2に示すように、情報処理装置100は、入力部110、表示部120、記憶部130及び制御部140を含む。
(1)入力部110
入力部110は、各種情報の入力を受け付ける機能を有する。入力部110は、受け付けた入力情報を制御部140へ出力する。
例えば、入力部110は、ユーザの動作及び状態等を検知するセンサを含んでいてもよい。入力部110は、例えばユーザ又はユーザの周囲を撮影対象とするカメラ又はステレオカメラにより実現され得る。他にも、入力部110は、マイク、GPS(Global Positioning System)、赤外線センサ、光線センサ、筋電センサ、神経センサ、脈拍センサ、体温センサ、気温センサ、ジャイロセンサ、加速度センサ又はタッチセンサなどにより実現され得る。カメラやマイクにより取得された画像及び音声は、コンテンツとして取り扱われてもよい。コンテンツには、多様な情報が付加されていてもよい。例えば、コンテンツには、Exif情報、タグ付けされた情報等が付加されていてもよい。
例えば、入力部110は、ユーザ操作を検知する操作部を含んでいてもよい。入力部110は、例えばキーボード、マウス、表示部120と一体的に構成されるタッチパネルにより実現されてもよい。
例えば、入力部110は、有線/無線のインタフェースを含んでいてもよい。有線のインタフェースとしては、例えばUSB(Universal Serial Bus)等の規格に準拠したコネクタが挙げられる。無線のインタフェースとしては、例えばBluetooth(登録商標)又はWi−Fi(登録商標)等の通信規格に準拠した通信装置が挙げられる。入力部110は、例えばPC(Personal Computer)又はサーバ等の他の装置からコンテンツを取得し得る。
(2)表示部120
表示部120は、各種情報を表示する機能を有する。例えば、表示部120は、制御部140により生成された表示画像を表示する機能を有する。表示部120は、例えばLCD(Liquid Crystal Display)又はOLED(Organic Light-Emitting Diode)などにより実現される。他にも、表示部120は、表示画像を投影面に投影するプロジェクタにより実現されてもよい。
(3)記憶部130
記憶部130は、各種情報を記憶する機能を有する。例えば、記憶部130は、入力情報とコンテキスト情報との対応付けを示す情報を記憶するコンテキストDB(Data Base)を含み得る。また、記憶部130は、コンテキスト情報とコンテンツから表示画像への変換規則との対応付けを示す情報を記憶する変換規則DBを含み得る。
(4)制御部140
制御部140は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。図2に示すように、制御部140は、コンテンツ取得部141、コンテキスト推定部143、生成部145、設定部147及び表示制御部149としての機能を有する。
(4.1)コンテンツ取得部141
コンテンツ取得部141は、コンテンツを取得する機能を有する。例えば、コンテンツ取得部141は、入力部110により入力されたコンテンツを取得する。コンテンツ取得部141は、取得したコンテンツを生成部145へ出力する。
(4.2)コンテキスト推定部143
コンテキスト推定部143は、コンテキストを推定する機能を有する。例えば、コンテキスト推定部143は、入力部110により入力された入力情報に基づいて、コンテキストを推定して、推定結果を示すコンテキスト情報を生成部145へ出力する。以下に説明するように、コンテキスト情報は多様に考えられる。
コンテキスト情報は、ユーザの属性に関連する情報であってもよい。ユーザとは、情報処理装置100のユーザであり、情報処理装置100により生成された表示画像を閲覧する人である。ユーザは一人であってもよいし、複数人であってもよい。ユーザの属性としては、例えばユーザの人数、大人か子供か、友人関係、仕事、趣味、生活サイクル等が挙げられる。コンテキスト推定部143は、例えば事前にユーザにより入力された情報、SNS(social networking service)に書き込まれた情報等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報がユーザの属性に関連する情報である場合、ユーザは、例えば自身の属性に応じた変換が成された表示画像を閲覧することができる。
コンテキスト情報は、コンテンツに関するユーザの知識又は嗜好に関連する情報であってもよい。コンテンツに関する知識としては、例えばユーザが当該コンテンツに接した回数等が挙げられる。コンテンツに関する嗜好としては、例えば好きであるか嫌いであるか等が挙げられる。コンテキスト推定部143は、例えば過去のユーザの行動履歴、購買履歴等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報がコンテンツに関するユーザの知識又は嗜好に関連する情報である場合、ユーザは、例えば自身の知識レベルに合った、又は自身が好む部分が強調され、好まない部分が曖昧に変換された表示画像を閲覧することができる。
コンテキスト情報は、ユーザがコンテンツを閲覧する目的に関連する情報であってもよい。閲覧する目的としては、例えば会話を盛り上げる目的、昔のことを思い出す目的が挙げられる。他にも、閲覧する目的としては、ニュース記事及び学術書等の内容を知る目的、顔、人体、特定の模様、動物、植物及び人工物等をタグ付けする目的、並びに駅、小売店及び駐車場等を探す目的等が挙げられる。コンテキスト推定部143は、ユーザの会話を対象とした音声認識処理、検索ワード、位置情報、行動情報等に基づいて、このようなコンテキスト情報を推定し得る。他にも、コンテキスト推定部143は、立ち上げているアプリケーション、又は閲覧しているWebページの種類等に基づいて、コンテキスト情報を推定し得る。コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報である場合、ユーザは、例えば自身の目的達成がより容易になるよう変換された表示画像を閲覧することができる。
コンテキスト情報は、表示画像におけるユーザの注目領域に関連する情報であってもよい。コンテキスト推定部143は、ユーザの視線、マウスポインタの位置、タッチセンサのタッチ位置又は空間ポインティングデバイスのポインタの位置等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像におけるユーザの注目領域に関連する情報である場合、ユーザは、例えば自身が注目する領域の視認性がより向上した表示画像を閲覧することができる。
コンテキスト情報は、表示画像の閲覧に基づく音声情報であってもよい。表示画像の閲覧に基づく音声情報としては、例えば表示画像の閲覧に関してユーザが聞く音が挙げられる。ユーザが聞く音としては、例えば音楽、オーディオブックの読み上げ音声、及び表示画像を見ながら又は見ずに行われる会話などが挙げられる。コンテキスト推定部143は、マイクにより取得された周囲の音、再生中の音データのファイル名等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像の閲覧に基づく音声情報である場合、ユーザは、自身が聞いている音に沿った表示画像を閲覧することができる。
コンテキスト情報は、表示画像の閲覧に基づく行動情報であってもよい。表示画像の閲覧に基づく行動情報としては、例えば表示画像の閲覧に関してユーザが行う行動が挙げられる。例えば、ユーザ自身の行動としては、例えば目的地へのルート検索、通勤、通学、移動(乗り物、徒歩)、休憩及び読書等が挙げられる。他にも、表示画像の閲覧に基づく行動情報として、例えば表示画像の閲覧に関するユーザの状況が挙げられる。例えば、ユーザの状況としては、忙しいか否か、言い換えれば何らかの行動が可能な状態であるか現在の行動が終わるまで別の行動が困難な状態であるか等が挙げられる。コンテキスト推定部143は、センサにより取得されたユーザの動作、ユーザ操作等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像の閲覧に基づく行動情報である場合、ユーザは、自身が行っている行動に沿った表示画像を閲覧することができる。行動情報は、ユーザ自身に関するものの他、周囲の人に関するものであってもよい。例えば、ユーザの隣の人が表示画像を覗き込んだことが検出された場合、隣の人が他人であれば写真が小さく表示され、隣の人が友人であれば逆に写真が大きく表示され得る。
コンテキスト情報は、表示画像を表示する表示部120とユーザとの位置関係に関連する情報であってもよい。位置関係に関連する情報としては、例えば表示部120とユーザとの距離、及び角度等が挙げられる。コンテキスト推定部143は、例えばユーザを撮像対象としたステレオカメラによる撮像結果等に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示部120とユーザとの位置関係に関連する情報である場合、ユーザは、位置関係に応じて視認性が良くなるよう変換された表示画像を閲覧することができる。
コンテキスト情報は、表示画像を表示する表示部120に関連する特性を示す情報であってもよい。表示部120に関連する特性を示す情報としては、例えば表示部120のサイズ、解像度、及び表示部120が搭載された装置の種別等が挙げられる。コンテキスト推定部143は、例えば予め記憶部130に記憶された情報に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報が表示画像を表示する表示部120に関連する特性を示す情報である場合、ユーザは、表示部120に関連する特性に適した表示サイズに変換された表示画像を閲覧することができる。
コンテキスト情報は、ユーザの環境に関連する情報であってもよい。ユーザの環境としては、例えばユーザの位置、天気、周囲の明るさ及び気温等が挙げられる。コンテキスト推定部143は、例えばGPS、気温センサ、湿度計等のセンサによる検知結果に基づいて、このようなコンテキスト情報を推定し得る。コンテキスト情報がユーザの環境に関連する情報である場合、ユーザは、環境に適した輝度、解像度等の表示設定で表示された表示画像を閲覧することができる。
以上、コンテキスト情報の一例を説明した。コンテキスト情報は、以上説明した情報を2つ以上含んでいてもよい。
(4.3)生成部145
生成部145は、取得したコンテンツの内容及びコンテキスト情報に応じた表示画像を生成する機能を有する。ここで、コンテンツの内容とは、コンテンツ自身及びコンテンツのメタデータを意味する。コンテンツのメタデータとは、コンテンツに含まれる情報の全てを指し、例えば、画像/音声/動画等のコンテンツの種類、コンテンツに含まれるオブジェクトの情報、コンテンツが画像であれば撮影された時間、撮影場所等がメタデータに含まれ得る。メタデータは、コンテンツに予め付随していてもよいし、画像解析、画像認識、統計処理又は学習等によりコンテンツから抽出されてもよい。例えば、生成部145は、コンテンツ取得部141により取得されたコンテンツ、コンテンツを解析することで得たメタデータ及びコンテキスト推定部143により推定されたコンテキスト情報に基づいて、コンテンツを変換した表示画像を生成する。そして、生成部145は、生成した表示画像を表示制御部149へ出力する。
例えば、生成部145は、取得したコンテンツ、コンテンツのメタデータ及びコンテキスト情報に応じて、コンテンツの表示形態を変更する、又はコンテンツに含まれるオブジェクトの一部又は全てを変更してもよい。以下、コンテンツの表示形態を変更すること、及びコンテンツに含まれるオブジェクトの一部又は全てを変更することについて、具体的に説明する。
例えば、生成部145は、コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする表示画像を生成してもよい。オブジェクトとは、コンテンツが画像である場合は画像の一領域又は被写体の一部又は全部の領域を指す。例えば、生成部145は、コンテキスト推定部143により推定されたコンテキスト情報及びコンテンツ取得部141により取得されたコンテンツの内容に基づいて、強調対象及び/又は曖昧にする対象のオブジェクトを特定する。そして、生成部145は、強調対象のオブジェクトを強調し、曖昧にする対象のオブジェクトを曖昧にする変換を行った表示画像を生成する。なお、生成部145は、強調対象及び曖昧にする対象のいずれでもないオブジェクトに関しては、そのまま表現する表示画像を生成してもよいし、他のオブジェクトに対して行われた変換からの影響を加味した変換を行った表示画像を生成してもよい。生成部145による変換処理は多様に考えられる。
例えば、生成部145は、強調対象のオブジェクトのコントラストを強調する表示画像を生成してもよい。また、生成部145は、強調対象のオブジェクトに囲みを付けて強調する表示画像を生成してもよい。また、生成部145は、強調対象のオブジェクトが別枠に表示される表示画像を生成してもよい。また、生成部145は、強調対象のオブジェクトをカラー表示し、他のオブジェクトをグレースケール又はモノクロで表示する表示画像を生成してもよい。
例えば、生成部145は、曖昧にする対象のオブジェクトのコントラストを弱める表示画像を生成してもよい。また、生成部145は、曖昧にする対象のオブジェクトの色を薄めて表示する表示画像、又はグレースケール若しくはモノクロで表示する表示画像を生成してもよい。
例えば、生成部145は、オブジェクトの配置を変更する表示画像を生成してもよい。例えば、生成部145は、曖昧にする対象のオブジェクトを画像の中心から離れた位置等の目立たない位置に移動させて、強調する対象のオブジェクトを画像の中心等の目立つ位置に移動させてもよい。
例えば、生成部145は、オブジェクトの各々に、取得したコンテンツ、コンテンツのメタデータ及びコンテキスト情報に応じた画素数を割り当てて表示画像を生成してもよい。例えば、生成部145は、強調対象のオブジェクトにより多くの画素数を割り当てる。これにより、強調対象のオブジェクトの視認性は向上する。ただし、表示画像の一部が歪んで見えたり、もともと存在していた空白部分が無くなったりし得る。また、生成部145は、曖昧にする対象のオブジェクトにより少ない画素数を割り当ててもよい。その場合、生成部145は、グロテスクな部分を小さくする等の、曖昧にする対象のオブジェクトをぼかした表示画像を生成することが可能となり、かかる部分の視認性を低下させることができる。
生成部145は、コンテンツに対応する表示画像を生成するために任意のアルゴリズムを採用し得る。例えば、コンテンツが画像である場合、生成部145は、局所的なアフィン変換を行ってもよい。生成部145が採用可能なアルゴリズムは、例えば「Scott Schaefer,Travis McPhail,Joe Warren,“Image deformation using moving least squares”,ACM Transactions on Graphics(TOG)−Proceedings of ACM SIGGRAPH 2006,Volume 25 Issue 3,July 2006 Pages 533−540.」に記載されている。
生成部145は、多様な方法を用いて、オブジェクト毎に割り当てる画素数を計算し得る。ここで、強調対象のオブジェクトに割り当てられる画素数は、オブジェクトの内容に関して言えば、例えば、文字であればユーザが読むことができる最小の画素数以上の値であり、その他のオブジェクトであればそれが何であるかを認識できる最小の画素数以上の値である。そのため、例えば空白部分などは割り当てられる画素数が小さくなる。一方で、曖昧にする対象のオブジェクトに割り当てられる画素数は、オブジェクトの内容に関して言えば、例えば、文字であればユーザが読むことができない最大の画素数以下の値であり、その他のオブジェクトであればそれが何であるかを認識できない最大の画素数以下の値である。
ただし、オブジェクトに割り当てる画素数は、コンテキストに応じて変化し得る。例えば、強調対象のオブジェクトに関して、アルファベットの「O」と数字の「0」を識別することが必要な校正作業時等においては、文字に割り当てられる画素数は通常時よりも大きくなる。また、文書中のユーザにとって重要な単語に割り当てられる画素数は、通常時よりも大きくなる。また、小さくても識別可能な人物画像であっても、その人物画像をよく見たいという要求がユーザにある場合、人物画像に割り当てられる画素数は通常時よりも大きくなる。会社からの帰宅時における子供の写真や、久しぶりに見る孫の写真などが、このコンテキストに該当する。曖昧にする対象のオブジェクトに関しても同様に、割り当てる画素数はコンテキストに応じて変化し得る。
以下では、コンテンツの内容に応じた画素数の割り当て処理を説明する。
例えば、生成部145は、コンテンツの内容から強調対象のオブジェクトに割り当てる画素数を計算する。例えば、コンテンツが静止画像である場合、生成部145は、画像に含まれる文字、アイコンその他の意味のあるオブジェクトを認識し、認識したオブジェクトの実表示サイズにおける視認性に基づいて、割り当てる画素数を計算してもよい。意味のあるオブジェクトとしては、文字、アイコンの他、例えば人の顔、顔以外の人体、特定の模様、動物、植物又は自動車などが挙げられる。また、生成部145は、コンテンツが静止画像である場合、フーリエ変換又はウェーブレット変換を行った結果から、割り当てる画素数を計算してもよい。その際、例えば、生成部145は、フーリエ変換又はウェーブレット変換を行って、画像の各部分の周波数成分を解析し、高周波成分の量が閾値以上の部分を強調対象のオブジェクトとして特定し得る。ただし、一般に高周波成分は人間の視覚特性上目立たないため、人間の視覚の周波数特性による補正をかけた上で、強調対象のオブジェクトを特定してもよい。そして、生成部145は、強調対象の部分における高周波成分の量から、割り当てる画素数を計算してもよい。本解析方法の一例を、図3を参照して詳しく説明する。
図3は、本実施形態に係るコンテンツの解析処理の一例を説明するための図である。図3に示すように、生成部145は、まず、人物が写った画像のコンテンツ201を格子状に分割する。そして、生成部145は、格子状に分割された画像を対象として、周波数解析及び人間の視覚特性による補正を行い、強調対象の部分202を特定する。ここでの強調対象の部分202は、人物の輪郭部分に相当する。例えば、生成部145は、人物の輪郭部分に多くの画素数を割り当てることにより、人物の輪郭が明確になった表示画像を生成することができる。
なお、多くの画素数を割り当てることを、単に拡大するとも称し得る。また、少ない画素数を割り当てることを、単に縮小するとも称し得る。また、生成部145は、強調対象のオブジェクトを拡大し、曖昧にする対象のオブジェクトを縮小するものとして説明するが、上記説明した他の変換処理を行ってもよい。
生成部145は、多様なタイミングで表示画像を生成し得る。例えば、生成部145は、表示対象のコンテンツが変化するタイミングで表示画像を生成してもよい。他にも、生成部145は、コンテキストが変化するタイミングで、表示画像を再生成してもよい。コンテキストが変化するタイミングとしては、例えば会話の話題が変わる、オーディオブックの読み上げ位置が変わる、一緒に表示画像を見る人が変わる、ユーザ位置が変わる、表示デバイスが変わる等が挙げられる。他にも、生成部145は、ユーザにより指示されたタイミングや画面のリフレッシュのタイミング等で、表示画像を生成してもよい。
また、コンテンツは静止画像以外にも多様に考えられる。例えば、コンテンツが撮影条件を変えて撮影された複数枚の静止画像である場合、生成部145は、複数枚の静止画像を合成する際に、強調すべき部分にピントを合わせてもよい。また、コンテンツが動画像である場合、生成部145は、動画像を連続する静止画像であると捉えて、上述した処理を同様に行ってもよい。また、コンテンツがWebページ又は文字列である場合、生成部145は、文字サイズや配置等の調整を行ってもよい。また、コンテンツが音である場合、生成部145は、強調すべき区間の再生時間を延長したり、強調すべき区間では通常の速度としそれ以外の区間では速くしたりしてもよい。
(コンテンツの内容に応じた表示画像の生成)
以下では、図4〜図6を参照して、コンテンツの内容に応じた表示画像の生成処理の具体例を説明する。
図4は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図4に示す例では、コンテンツ211はマンガの静止画像である。例えば、生成部145は、吹き出し部分213の文字を拡大しつつ、その他の絵の部分をそのままにする表示画像212を生成する。これにより、吹き出し部分の可読性が確保される。
図5は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図5に示す例では、コンテンツ221はゴキブリ223が写った静止画像である。例えば、生成部145は、ゴキブリ223を縮小した表示画像222を生成する。これにより、ゴキブリのような好ましくない部分が縮小して表示される。好ましくない部分としては、ゴキブリのような特定の虫の他、グロテスクな表現がされた部分、激しく明滅する部分などが挙げられる。
他の例としては、例えば、コンテンツがSMS(short message service)である場合、生成部145は、メッセージ部分を拡大した表示画像を生成し得る。また、コンテンツが技術書の電子書籍である場合、生成部145は、文字部分を拡大した表示画像を生成し得る。また、コンテンツが集合写真である場合、生成部145は、顔部分を拡大した表示画像を生成し得る。また、コンテンツが歌詞カードである場合、生成部145は、文字部分を拡大した表示画像を生成し得る。また、コンテンツが富士山の写真である場合、生成部145は、富士山を拡大した表示画像を生成し得る。
生成部145は、コンテンツに含まれる表記をより視認性が向上する表記に変換して表示画像を生成してもよい。例えば、生成部145は、変換の前後で、変換される文言が含まれる文章の意味が変化しないよう、異なる字形、マーク、読み仮名等の異なる表記への変換を行う。以下では、図6を参照して、表記を変換して表示画像を生成する処理の一例を説明する。
図6は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図6の符号231〜233に示すように、生成部145は、画数が多い文言を同じ意味の画数が少ない文言に変換してもよい。また、生成部145は、符号234に示すように、アルファベットを小文字から大文字へ変換してもよい。ここで、変換後の文字は実存する文字でなくてもよく、例えば符号235及び符号236に示すように、文字から1本以上の線を除去したものであってもよい。これにより、例えば割り当てられる画素数が少ない部分の文章の視認性が向上し得る。他にも、生成部145は、符号237に示すように長い記載を略語に変換してもよいし、符号238に示すように略語を元の長い記載に変換してもよい。また、生成部145は、符号239に示すように名前を短い愛称に変換してもよい。なお、このような変換規則は、記憶部130に記憶され得る。
以上、コンテンツの内容に応じた表示画像の生成処理の具体例について説明した。
(コンテキスト情報に応じた表示画像の生成)
以下では、図7〜図24を参照して、コンテキスト情報に応じた表示画像の生成処理の例を説明する。
図7は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図7に示す例は、コンテキスト情報が、コンテンツに関するユーザの知識又は嗜好に関連する情報である場合の例である。図7に示す例では、コンテンツ301は、マンガの静止画像である。例えば、生成部145は、ユーザが初めて読む場合には、吹き出し部分303の文字を拡大した表示画像302を生成する。一方で、生成部145は、ユーザが何度も読んでいる場合には、吹き出し部分以外の絵の部分305を拡大した表示画像304を生成する。
また、図7に示した例を、コンテキスト情報が、コンテンツに関するユーザの知識又は嗜好に関連する情報、及びユーザの環境に関連する情報である場合の例として捉えることも可能である。例えば、生成部145は、ユーザが通勤電車に乗車中である場合、揺れる車内での文字の視認性を向上させるために、吹き出し部分303の文字を拡大した表示画像302を生成する。
図8は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図8に示す例は、コンテキスト情報が、表示画像の閲覧に基づく音声情報、及びコンテンツに関するユーザの知識又は嗜好に関連する情報である場合の例である。図8に示す例では、コンテンツ311は、歌詞カードの静止画像である。例えば、生成部145は、ユーザが当該歌詞カードを見ながら当該歌詞カードの曲を聴いている場合、又は初めて当該歌詞カードを見る場合に、歌詞部分313を拡大した表示画像312を生成する。一方で、生成部145は、ユーザが当該歌詞カード以外の曲を聴きながら当該歌詞カードを見ている場合、又は何度も当該歌詞カードの曲を聴いている場合に、写真部分315を拡大した表示画像314を生成する。
図9は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図9に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像の閲覧に基づく音声情報である場合の例である。図9に示す例では、コンテンツは、風景の静止画像である。例えば、生成部145は、ユーザが写真の手前側のビル322について会話している場合、ビル322についての会話を盛り上げるために、ビル322を拡大した表示画像321を生成する。一方で、生成部145は、ユーザが写真の奥側のタワー324について会話している場合、タワー324についての会話を盛り上げるために、タワー324を拡大した表示画像323を生成する。
図10は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図10に示す例は、コンテキスト情報が、ユーザの属性に関連する情報である場合の例である。図10に示す例では、コンテンツは、人の集合写真の静止画像である。例えば、生成部145は、ユーザの友人関係に基づいて、共通の友人である「Karen」の顔部分332及び「Anne」の顔部分333を拡大し、囲いをつけ、名前のタグを付した表示画像331を生成する。また、生成部145は、新たにユーザが増えた場合に、増えたユーザと既存のユーザとの共通の友人である、「Karen」の顔部分332を拡大し、囲いをつけ、名前のタグを付した表示画像334を生成する。
図11は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図11に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報である場合の例である。図11に示す例では、コンテンツは、人の集合写真の静止画像341である。例えば、生成部145は、ユーザが写真に写った人にタグ付けしようとする目的を有する場合、顔部分を拡大した表示画像342を生成する。
図12は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図12に示す例は、コンテキスト情報が、ユーザの属性に関連する情報である場合の例である。図12に示す例では、コンテンツ351は、煙草を吸う人の静止画像である。例えば、生成部145は、ユーザが子供である場合又は子供を含む複数人である場合、煙草を縮小した表示画像352を生成する。一方で、生成部145は、ユーザに子供が含まれない場合、煙草をそのままの大きさで表現した表示画像を生成する。他にも、生成部145は、グロテスクな表現や静的な表現、酒等の子供にとって不適切なコンテンツに関して、同様の処理を行ってもよい。また、生成部145は、不適切な部分を縮小するだけでなく、除去してもよい。
なお、図12に示した例に関して、ユーザが煙草に関する会話を行っている場合が考えらえる。その場合、話題に上っている煙草の部分を拡大するか、子供を考慮して煙草の部分を縮小するか、というコンテキスト情報に応じた変換方針に衝突が生じる。そこで、後述する設定部147は、このような場合を想定して予めコンテキスト情報に優先順位を設定する。これにより、生成部145は、例えば子供を優先的に考慮して煙草の部分を縮小した表示画像を生成し得る。
図13は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図13に示す例は、コンテキスト情報が、表示画像を表示する表示部120とユーザとの位置関係に関連する情報である場合の例である。図13に示す例では、コンテンツは、Webページである。例えば、生成部145は、表示部120とユーザとの距離が近い場合、Webページ全体を縮小した表示画像361を生成する。一方で、生成部145は、表示部120とユーザとの距離が遠い場合、Webページ全体を拡大して画面に収まりきらない部分を省略した表示画像361を生成する。これにより、ユーザは、画面との距離によらず高い視認性を確保することができる。
図14は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図14に示す例は、コンテキスト情報が、ユーザの属性に関連する情報である場合の例である。図14に示す例では、コンテンツは、TWITTER(登録商標)のタイムラインである。例えば、生成部145は、ユーザの友人関係又はTWITTERにおけるフォロー及びフォロワーの関係に基づいて、ユーザ自身、及びユーザと一緒に画面を見ている人のTWEET(登録商標)372を拡大した表示画像371を生成する。
図15は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図15に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報である場合の例である。図15に示す例では、コンテンツは、地図381である。例えば、生成部145は、ユーザがレストランを探している場合、レストランを示すアイコンを拡大した表示画像382を生成する。一方で、生成部145は、ユーザが駅を探している場合、駅を示すアイコンを拡大した表示画像383を生成する。
図16は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図16に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、ユーザの環境に関連する情報、及び表示画像の閲覧に基づく行動情報である場合の例である。図16に示す例では、コンテンツは、ユーザの現在地及び移動方向を示すアイコン394を含む地図391である。例えば、生成部145は、ユーザがアイコン394に示した位置において自動車を使って移動中にレストランを探している場合、走っている道路395沿いの駐車場があるレストランを示すアイコンを拡大した表示画像392を生成する。一方で、生成部145は、ユーザがアイコン394に示した位置において徒歩で移動中にレストランを探している場合、現在位置に近いレストランを示すアイコンを拡大した表示画像393を生成する。
また、図16に示した例を、コンテキスト情報が、ユーザの属性に関連する情報、及びユーザの環境に関連する情報である場合の例として捉えることも可能である。例えば、生成部145は、ユーザの休憩時間が限られている場合、休憩時間内で昼食を食べ終えることができるように、現在位置に近いレストランを示すアイコンを拡大した表示画像393を生成する。
図17は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図17に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、ユーザの環境に関連する情報、及び表示画像の閲覧に基づく行動情報である場合の例である。図17に示す例では、コンテンツは、ユーザの現在地及び移動方向を示すアイコン402を含む地図である。例えば、生成部145は、ユーザがアイコン402に示した位置において自動車を使って移動中に温泉施設を探している場合、走っている道路403沿いの温泉施設を示すアイコンを拡大した表示画像401を生成する。
図18は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図18に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像を表示する表示部120に関連する特性を示す情報である場合の例である。図18に示す例では、コンテンツは、人の集合写真の静止画像であり、ユーザが写真に写った人の顔にタグ付けしようとする目的を有しているものとする。例えば、生成部145は、表示画像を表示する表示部120がテレビ受像機やPC等の大型ディスプレイである場合、十分な視認性が確保されるため、コンテンツをそのまま表現する表示画像411を生成する。一方で、生成部145は、表示画像を表示する表示部120がスマートフォン又はタブレット等の小型ディスプレイである場合、十分な視認性を確保するために、顔部分を拡大した表示画像412を生成する。
図19は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図19に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像を表示する表示部120に関連する特性を示す情報である場合の例である。図18に示す例では、コンテンツは、人の集合写真の静止画像であり、ユーザが写真に写った人の顔にタグ付けしようとする目的を有しているものとする。例えば、生成部145は、表示画像を表示する表示部120が時計型デバイス等の小型ディスプレイである場合、十分な視認性を確保するために、画像に付けるタグを選択するための表示画像421及び顔部分を表示する表示画像422〜425を生成する。例えば、ユーザは、表示画像422〜425を横方向のフリック操作で切り替えて、音声入力によりタグ付けする、又は縦方向のフリック操作で切り替えた表示画像421においてタグ付けするタグを選択してもよい。
図20は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図20に示す例は、コンテキスト情報が、ユーザがコンテンツを閲覧する目的に関連する情報、及び表示画像を表示する表示部120に関連する特性を示す情報である場合の例である。図20に示す例では、コンテンツは、人の集合写真の静止画像であり、ユーザが写真に写った人の顔にタグ付けしようとする目的を有しているものとする。例えば、生成部145は、表示画像を表示する表示部120がメガネ型デバイス等の小型ディスプレイであるものの、表示可能面積及び解像度が大きい場合、十分な視認性が確保されるので、全体をそのまま表現する表示画像431を生成する。この場合に生成される表示画像については、図18を参照して上記説明した通りである。一方で、生成部145は、表示画像を表示する表示部120がメガネ型デバイス等の小型ディスプレイである上に、表示可能面積及び解像度が小さい場合、十分な視認性を確保するために、顔部分を表示する表示画像432を生成する。この場合に生成される表示画像については、図19を参照して上記説明した通りである。
図21は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図21に示す例は、コンテキスト情報が、表示画像の閲覧に基づく行動情報、及びユーザの環境に関連する情報である場合の例である。図21に示す例では、コンテンツは、天気予報のアプリケーションである。例えば、生成部145は、ユーザが通勤前であり、天気が雨である場合、天気予報のアプリケーションの表示領域を拡大したスマートフォン向けの表示画像441を生成する。
図22は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図22に示す例は、コンテキスト情報が、表示画像の閲覧に基づく行動情報、及びユーザの環境に関連する情報である場合の例である。図22に示す例では、コンテンツは、渋滞情報のアプリケーションである。例えば、生成部145は、ユーザが車に乗って旅行中である場合に、現在位置から目的地にかけての渋滞情報のアプリケーションの表示領域を拡大したスマートフォン向けの表示画像451を生成する。
図23は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。図23に示す例は、コンテキスト情報が、表示画像におけるユーザの注目領域に関連する情報である場合の例である。図23に示す例では、コンテンツは、音楽グループのライブの動画像である。例えば、生成部145は、ユーザが注目する領域として予め登録された又は動画再生中に指定されたアーティストの顔部分を別枠462で表示する表示画像(動画像)461を生成する。なお、生成部145は、図24に示すように、別枠462で表示する部分を選択するための表示画像を生成してもよい。図24は、本実施形態に係る表示画像の生成処理の一例を説明するための図である。例えば、生成部145は、動画像内の人の顔部分を選択候補472とする表示画像471を生成してもよい。ユーザは、選択候補472をタップ操作等により選択することで、選択した人の顔を別枠462に表示させることができる。選択候補は、図24に示した例では人の顔であるが、顔以外の人体、特定の模様、動物、植物、又は人工物等の、範囲を識別可能なオブジェクトであってもよい。
以上、コンテキスト情報に応じた表示画像の生成処理の具体例について説明した。
(4.4)設定部147
設定部147は、コンテキスト情報の各々に優先度を設定する機能を有する。例えば、設定部147は、2以上のコンテキスト情報について相反する変換が行われ得る場合に、いずれを優先すべきかを規定することが可能である。設定部147は、表示画像を表示するアプリケーションやサービス等に応じて、異なる優先度を設定してもよい。なお、優先度が同程度である場合、変換効果が打ち消し合う場合もあり得る。コンテキスト情報の各々に優先度が設定されることで、ユーザが表示画像を閲覧する状況に沿った適切なコンテキスト情報に応じた変換がなされ得る。同様に、設定部147は、コンテンツの内容に応じた表示画像の生成処理に関し、コンテンツの内容の各々に優先度を設定してもよい。
生成部145は、上述したコンテンツの内容に応じた表示画像の生成処理、及びコンテキスト情報に応じた表示画像の生成処理を組み合わせて表示画像を生成し得る。これに関し、設定部147は、コンテンツの内容に応じた表示画像の生成処理、又はコンテキスト情報に応じた表示画像の生成処理の少なくともいずれかを選択的に行うよう設定してもよい。ここで、図25に、設定画面の一例を示した。
図25は、本実施形態に係る表示画像の生成処理に関する設定画面の一例を説明するための図である。図25では、コンテンツの内容に応じた表示画像の生成処理を「画像特性に応じた変換」とし、コンテキスト情報に応じた表示画像の生成処理を「コンテキストに応じた変換」として、各処理のON/OFFを設定可能な設定画面の一例を示している。設定画面501では、「画像特性に応じた変換」及び「コンテキストに応じた変換」の双方がチェックされており、双方を組み合わせた表示画像の生成処理が行われる。一方で、設定画面502では、「画像特性に応じた変換」のみがチェックされているので、コンテンツの内容に応じた表示画像の生成処理のみが行われる。
(4.5)表示制御部149
表示制御部149は、取得したコンテンツ、コンテンツのメタデータ及びコンテキスト情報に応じて、コンテンツの表示制御を行う機能を有する。詳しくは、表示制御部149は、生成部145により生成された表示画像を表示するよう表示部120を制御する。例えば、表示制御部149は、表示画像を表示部120に出力して、表示させる。表示制御部149は、輝度や表示サイズ、表示範囲等の表示設定を制御してもよい。
以上、本実施形態に係る情報処理装置100の構成例を説明した。続いて、図26を参照して、本実施形態に係る情報処理装置100の動作処理例を説明する。
<<3.動作処理例>>
図26は、本実施形態に係る情報処理装置100において実行される表示画像の出力処理の流れの一例を示すフローチャートである。
図26に示すように、まず、ステップS102で、コンテンツ取得部141は、コンテンツを取得する。例えば、コンテンツ取得部141は、入力部110により入力されたコンテンツを取得する。
次いで、ステップS104で、コンテキスト推定部143は、コンテキストを推定する。例えば、コンテキスト推定部143は、入力部110により入力された入力情報に基づいて、コンテキストを推定して、コンテキスト情報を出力する。
次に、ステップS106で、生成部145は、コンテンツの内容及びコンテキスト情報に基づいてコンテンツに対応する表示画像を生成する。例えば、生成部145は、図4〜図6、及び図7〜図24に参照しながら上記説明したように、コンテンツの内容及びコンテキスト情報に基づいてコンテンツを変換した表示画像を生成する。
次いで、ステップS108で、表示部120は表示画像を表示する。例えば、表示制御部149は、生成部145により生成された表示画像を表示部120に出力し、表示画像を表示するよう表示部120を制御する。
以上、本実施形態に係る動作処理例を説明した。
<<4.ハードウェア構成例>>
最後に、図27を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図27は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図27に示す情報処理装置900は、例えば、図2に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図27に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913及びセンサ915を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す制御部140を形成し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、図2に示す入力部110を形成し得る。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図2に示す表示部120を形成し得る。上記音声出力装置は、例えば、図2に示す表示部120において表示画像が表示される際に、BGM等を出力し得る。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図2に示す記憶部130を形成し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。接続ポート911は、例えば、図2に示す入力部110を形成し得る。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示す入力部110を形成し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
センサ915は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ915は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ915は、例えば、図2に示す入力部110を形成し得る。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<5.まとめ>>
以上、図1〜図27を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、入力されたコンテンツの内容及びコンテンツとユーザとの関係性を示す情報に応じた表示画像を生成する。これにより、情報処理装置100は、コンテンツとユーザとの関係性に基づいたコンテンツ自体の表示制御を行うことができる。より具体的には、ユーザは、自身の嗜好や知識、行動や周囲の環境等のコンテキストに合った表示画像を閲覧することが可能であるので、ユーザの利便性が向上する。
また、本実施形態に係る情報処理装置100は、コンテンツの内容及び前記関係性を示す情報に応じて、コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする表示画像を生成する。これにより、ユーザは、見るべき部分を容易に閲覧することが可能となる。また、ユーザは、見ないでもよい部分については注意を払わずともよいので、見るべき部分に集中することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図2に示した情報処理装置100の機能構成例のうち、記憶部130及び制御部140が、入力部110及び表示部120とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
を備える情報処理装置。
(2)
前記表示制御部は、前記コンテンツの表示形態を変更する、又は前記コンテンツに含まれるオブジェクトの一部又は全てを変更する、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする、前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記オブジェクトの各々に、前記コンテンツ、前記メタデータ及び前記関係性を示す情報に応じた画素数を割り当てる、前記(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記コンテンツに含まれる表記をより視認性が向上する表記に変換する、前記(3)又は(4)に記載の情報処理装置。
(6)
前記表示制御部は、前記オブジェクトの配置を変更する、前記(3)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記情報処理装置は、前記関係性を示す情報の各々に優先度を設定する設定部をさらに備える、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記関係性を示す情報は、前記ユーザの属性に関連する情報を含む、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記関係性を示す情報は、前記コンテンツに関する前記ユーザの知識又は嗜好に関連する情報を含む、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記関係性を示す情報は、前記ユーザが前記コンテンツを閲覧する目的に関連する情報を含む、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記関係性を示す情報は、前記表示制御部により表示制御された表示画像における前記ユーザの注目領域に関連する情報を含む、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく音声情報を含む、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく行動情報を含む、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部と前記ユーザとの位置関係に関連する情報を含む、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部に関連する特性を示す情報を含む、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記関係性を示す情報は、前記ユーザの環境に関連する情報を含む、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御をプロセッサにより行うこと、
を含む画像処理方法。
(18)
コンピュータを、
取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
として機能させるためのプログラム。
100 情報処理装置
110 入力部
120 表示部
130 記憶部
140 制御部
141 コンテンツ取得部
143 コンテキスト推定部
145 生成部
147 設定部
149 表示制御部

Claims (18)

  1. 取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
    を備える情報処理装置。
  2. 前記表示制御部は、前記コンテンツの表示形態を変更する、又は前記コンテンツに含まれるオブジェクトの一部又は全てを変更する、請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記コンテンツに含まれるオブジェクトの少なくともいずれかを強調する又は曖昧にする、請求項2に記載の情報処理装置。
  4. 前記表示制御部は、前記オブジェクトの各々に、前記コンテンツ、前記メタデータ及び前記関係性を示す情報に応じた画素数を割り当てる、請求項3に記載の情報処理装置。
  5. 前記表示制御部は、前記コンテンツに含まれる表記をより視認性が向上する表記に変換する、請求項3に記載の情報処理装置。
  6. 前記表示制御部は、前記オブジェクトの配置を変更する、請求項3に記載の情報処理装置。
  7. 前記情報処理装置は、前記関係性を示す情報の各々に優先度を設定する設定部をさらに備える、請求項1に記載の情報処理装置。
  8. 前記関係性を示す情報は、前記ユーザの属性に関連する情報を含む、請求項1に記載の情報処理装置。
  9. 前記関係性を示す情報は、前記コンテンツに関する前記ユーザの知識又は嗜好に関連する情報を含む、請求項1に記載の情報処理装置。
  10. 前記関係性を示す情報は、前記ユーザが前記コンテンツを閲覧する目的に関連する情報を含む、請求項1に記載の情報処理装置。
  11. 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像における前記ユーザの注目領域に関連する情報を含む、請求項1に記載の情報処理装置。
  12. 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく音声情報を含む、請求項1に記載の情報処理装置。
  13. 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像の閲覧に基づく行動情報を含む、請求項1に記載の情報処理装置。
  14. 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部と前記ユーザとの位置関係に関連する情報を含む、請求項1に記載の情報処理装置。
  15. 前記関係性を示す情報は、前記表示制御部により表示制御された表示画像を表示する表示部に関連する特性を示す情報を含む、請求項1に記載の情報処理装置。
  16. 前記関係性を示す情報は、前記ユーザの環境に関連する情報を含む、請求項1に記載の情報処理装置。
  17. 取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御をプロセッサにより行うこと、
    を含む画像処理方法。
  18. コンピュータを、
    取得したコンテンツ、前記コンテンツのメタデータ及び前記コンテンツとユーザとの関係性を示す情報に応じて、前記コンテンツの表示制御を行う表示制御部、
    として機能させるためのプログラム。
JP2015019998A 2015-02-04 2015-02-04 情報処理装置、画像処理方法及びプログラム Pending JP2016143310A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015019998A JP2016143310A (ja) 2015-02-04 2015-02-04 情報処理装置、画像処理方法及びプログラム
US15/540,095 US20170371524A1 (en) 2015-02-04 2016-01-28 Information processing apparatus, picture processing method, and program
PCT/JP2016/052453 WO2016125672A1 (ja) 2015-02-04 2016-01-28 情報処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015019998A JP2016143310A (ja) 2015-02-04 2015-02-04 情報処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2016143310A true JP2016143310A (ja) 2016-08-08

Family

ID=56564020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015019998A Pending JP2016143310A (ja) 2015-02-04 2015-02-04 情報処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20170371524A1 (ja)
JP (1) JP2016143310A (ja)
WO (1) WO2016125672A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018029808A1 (ja) * 2016-08-10 2018-02-15 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
WO2018198447A1 (ja) * 2017-04-24 2018-11-01 ソニー株式会社 情報処理装置および情報処理方法
JP2020197981A (ja) * 2019-06-04 2020-12-10 富士通株式会社 表示制御プログラム、表示制御方法、および表示制御装置
JP2021020316A (ja) * 2019-07-24 2021-02-18 富士ゼロックス株式会社 画像処理装置、情報処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217699A1 (en) * 2013-09-02 2016-07-28 Suresh T. Thankavel Ar-book
EP3811626B1 (en) * 2019-08-16 2022-12-07 Google LLC Face-based frame packing for video calls

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6167180A (ja) * 1984-09-11 1986-04-07 Fujitsu Ltd 画像縮小表示方式
US5767855A (en) * 1997-05-19 1998-06-16 International Business Machines Corporation Selectively enlarged viewer interactive three-dimensional objects in environmentally related virtual three-dimensional workspace displays
US6731285B2 (en) * 2001-01-11 2004-05-04 International Business Machines Corporation System and method for providing high performance image magnification in a web browser
US20050039138A1 (en) * 2003-08-13 2005-02-17 Aaron Urbina Method and system for displaying comic books and graphic novels on all sizes of electronic display screens.
US8442311B1 (en) * 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US7676543B2 (en) * 2005-06-27 2010-03-09 Scenera Technologies, Llc Associating presence information with a digital image
JP2007265274A (ja) * 2006-03-29 2007-10-11 Sendai Foundation For Applied Information Sciences 生理適応型表示装置
US7953295B2 (en) * 2006-06-29 2011-05-31 Google Inc. Enhancing text in images
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP4274238B2 (ja) * 2006-12-22 2009-06-03 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US7912289B2 (en) * 2007-05-01 2011-03-22 Microsoft Corporation Image text replacement
JP2009181457A (ja) * 2008-01-31 2009-08-13 G Mode:Kk チャット・ソフトウェア
TWI401669B (zh) * 2008-04-11 2013-07-11 Novatek Microelectronics Corp 用於加強文字顯示效果的影像處理電路及其方法
JP4613993B2 (ja) * 2008-09-02 2011-01-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理方法
JP5215099B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体
JP2010181461A (ja) * 2009-02-03 2010-08-19 Olympus Corp デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JP5423183B2 (ja) * 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
JP5316386B2 (ja) * 2009-12-01 2013-10-16 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US8526732B2 (en) * 2010-03-10 2013-09-03 Microsoft Corporation Text enhancement of a textual image undergoing optical character recognition
JP5674450B2 (ja) * 2010-12-22 2015-02-25 富士フイルム株式会社 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法
US20120196260A1 (en) * 2011-02-01 2012-08-02 Kao Nhiayi Electronic Comic (E-Comic) Metadata Processing
US8872855B2 (en) * 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP5439455B2 (ja) * 2011-10-21 2014-03-12 富士フイルム株式会社 電子コミック編集装置、方法及びプログラム
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP2014089637A (ja) * 2012-10-31 2014-05-15 International Business Maschines Corporation 画像データ中の訳し分けされるべき単語又はフレーズに対応する訳語を決定する方法、並びにそのコンピュータ及びコンピュータ・プログラム
US9436357B2 (en) * 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US9531823B1 (en) * 2013-09-09 2016-12-27 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on user feedback data

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018029808A1 (ja) * 2016-08-10 2018-02-15 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
JP6462962B2 (ja) * 2016-08-10 2019-01-30 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
JPWO2018029808A1 (ja) * 2016-08-10 2019-02-28 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
WO2018198447A1 (ja) * 2017-04-24 2018-11-01 ソニー株式会社 情報処理装置および情報処理方法
US11301615B2 (en) 2017-04-24 2022-04-12 Sony Corporation Information processing device using recognition difficulty score and information processing method
JP2020197981A (ja) * 2019-06-04 2020-12-10 富士通株式会社 表示制御プログラム、表示制御方法、および表示制御装置
JP7335491B2 (ja) 2019-06-04 2023-08-30 富士通株式会社 表示制御プログラム、表示制御方法、および表示制御装置
JP2021020316A (ja) * 2019-07-24 2021-02-18 富士ゼロックス株式会社 画像処理装置、情報処理プログラム
JP7318387B2 (ja) 2019-07-24 2023-08-01 富士フイルムビジネスイノベーション株式会社 画像処理装置、情報処理プログラム

Also Published As

Publication number Publication date
US20170371524A1 (en) 2017-12-28
WO2016125672A1 (ja) 2016-08-11

Similar Documents

Publication Publication Date Title
US11998833B2 (en) Generating collectible items based on location information
US11842411B2 (en) Location-based virtual avatars
US11195338B2 (en) Surface aware lens
WO2016125672A1 (ja) 情報処理装置、画像処理方法及びプログラム
US20210200423A1 (en) Information processing apparatus, method, and non-transitory computer readable medium that controls a representation of a user object in a virtual space
US9767610B2 (en) Image processing device, image processing method, and terminal device for distorting an acquired image
EP3702914B1 (en) Mobile virtual and augmented reality system
EP3352050A1 (en) Information processing device, information processing method, and program
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US8949238B2 (en) Information processing device, method, and computer program product
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
CN103746985A (zh) 通信方法及装置
US11637890B2 (en) Dynamically assigning storage locations for messaging system data
JPWO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN108282578A (zh) 拍摄提醒方法、移动终端及计算机可读存储介质
US20170097985A1 (en) Information processing apparatus, information processing method, and program
CN112489619A (zh) 语音处理方法、终端设备及存储介质
JP7417798B2 (ja) 表示方法,プログラム,端末