研究

複合現実感技術

複合現実空間におけるバーチャル流体とのインタラクション

wfw_overview wfw_fountain wfw_magic_cup wfw_japanese

本研究では, 複合現実空間に仮想流体を整合性高く合成し, ユーザとのインタラクションを可能にする手法を提案する. 予測不可能なユーザの挙動に対する流体の適切な反応を実現するために, 流体の挙動は物理法則に基づくシミュレーションにより計算する. 物理モデルとして, 流体の大きな変形を表現可能な粒子ベースの モデルに, 仮想の剛体および実物体との相互作用を組み込んで利用する. また, 高い光学的整合性を実現するためには, 流体表面での光の屈折および 実環境の映り込みが重要である. ユーザの視野映像を取得する 視界カメラの映像を屈折像に, 魚眼カメラから得られる環境の映像を 反射像に利用し, GPUを用いることにより反射・屈折・隠蔽関係を 適切に表現するレンダリング手法を提案する.

MRビリヤード: ビリヤード練習システム

mr_billiard_overview mr_billiard_table mr_billiard_shot1 brmr_billiard_shot2

本研究では、複合現実感技術を用いて、多様な局面での繰り返し練習の容易さと、 現実のキューを使用する実在感の高さを両立させたビリヤード練習システムを構築する。 ビリヤードの技術向上のためには、大きく分けて、 キューを如何に操るかという技術的なトレーニングと、 どの順序でボールをポケットに沈めるかを考慮した上で最適な手玉の打点を決定する、 戦略的なトレーニングが必要である。 視覚と力覚の整合性が保たれた臨場感の高いMR空間を 構築するためには、精度が高く遅延の少ないキュー先端位置の取得が必要であるが、 本研究ではカメラと磁気式位置センサの併用により実現する。 また、実物体であるキューと仮想物体であるボールとの衝突時の力覚を、 ソレノイドコイルをキューに埋め込んだ撃力提示デバイスにより提示する。
» より詳しい説明 [松井2004]

コンピュータグラフィックス(リアルタイム)

粒子ベース液体シミュレーションによる水滴のアニメーション

waterdrop_distance waterdrop_merge1 waterdrop_merge2 waterdrop_merge3

液体は環境に応じて多様な形態を示すため、 包括的なリアルタイムシミュレーション手法は確立されていない。 本研究では，特に界面張力が重要となる液滴のリアルタイムレンダリングを目指し、 粒子を用いた液体シミュレーション手法であるSmoothed Particle Hydrodynamicsを拡張することにより 接触角の違いを表現可能な界面張力モデルを提案する。 提案手法では，流体粒子の接触線からの距離と近傍粒子数との関係に着目することにより、 接触角の異なる水滴および扁平形状の水滴の表現を可能としている． さらに，陰曲面を生成するための密度ボリュームを平滑化して、 粒子法を用いながらも滑らかな水面のレンダリングを実現する。
» より詳しい説明 [安部2008]

気泡運動を反映した液体のCGと効果音のリアルタイム生成

watersound_real watersound_particle watersound_surface watersound_spectrum

映像と同期した効果音はバーチャル空間のリアリティの向上に有効である。 本研究では、液体のリアルタイムコンピュータグラフィックスに効果音を 自動的に付加する手法を提案する。 液体の発する音は液体中の気泡の運動に起因することに注目し、 粒子ベースのリアルタイム二相液体シミュレーションによって液体と 気泡の運動を計算する。気泡の生成・破裂に合わせてあらかじめ録音して おいた基本となる音を変調・合成して出力することにより 効果音の自動生成を実現する。
» より詳しい説明 [仲野2007]

水の実時間アニメーション

実時間での写実的な流体の表現は、 コンピュータゲームやバーチャルリアリティにおいて、 プレーヤをその世界に引き込むための重要な手段の一つである。 流体は剛体に代表される他の物体とお互い影響を及ぼしあいながら運動を行うため、 写実的な流体の表現に際しては、 剛体との相互作用を適切に取り扱わなければならない。 視覚的にもっともらしい流体の振る舞いを実現するためには、 計算流体力学に基づいたシミュレーションが有効である。 本研究では、剛体との相互作用を含むSmoothed Particle Hydrodynamicsに 基づいた粒子ベースの流体シミュレーションの提案とその高速な実装、 および反射・屈折・フレネル効果を伴った写実的な水面の描画方法を提案する。 提案手法は実時間で剛体との相互作用を行う水のアニメーション生成を可能としている。
» より詳しい説明 [天田2005]

汎用的な構造色レンダリング手法の開発

structural_cd structural_lens structural_dragon structural_shell

リアリティのあるCGの生成において, 色表現は非常に重要な要素である. 自然界の色は色素色と構造色の二つに大別することができる. 構造色は波長以下の微細構造が生み出す光路差に起因する 光学現象による発色であり, 色素による発色である色素色と異なり, 視点位置や照明条件により見え方が大きく変化するという特徴をもっている. 構造色の例として, シャボン玉やコンパクトディスク表面の虹色などがある. 本研究では, 共通の枠組みで様々な種類の構造色を再現可能な 汎用性を持つ構造色レンダリング手法を提案する. 提案手法は, 構造色を生み出す原因である光路差に着目し, 光路差を共通のパラメータとして用いることで様々な微細構造を統一的に扱う. 更に本手法を用いた実時間での描画を可能にするため, 光路差の表現及び描画にテクスチャを活用する手法を提案し, 視点と光源に依存した発色変化のインタラクティブな提示を実現する.

五感インターフェイス

VR技術を用いた幻肢リハビリテーションシステム

幻肢とは，事故や壊疽などが原因で手や足を切断された患者が失われた手足が まだ存在していると感じることである．非侵襲かつ簡便に行える幻肢のリハビ リテーション手法としてミラーボックス手法があるが、イメージしている幻肢 と鏡に映った腕の形状が異なる場合に効果がない、図にあるように箱に拘束さ れるなどの問題がある。本研究では、CGの両腕を提示することによる幻肢リハ ビリテーションシステムの提案及び実装を行った．提案システムにより，体性 感覚に影響を与えることが可能か検証を行った．CGの腕が被験者の想像と少し 異なる動作をした場合に，位置感覚に最も影響を与えることが可能であった． このことから，リハビリテーションを行う上でも患者自身の想像と少し異なる 描画をすることでより効果を与えることが可能ではないかという結論を得た．
» より詳しい説明 [飯田2008]

腕装着型香り提示デバイスの開発と視覚-嗅覚相互作用の検証

olfactory_device olfactory_hand olfactory_game olfactory_laval

現在のバーチャルリアリティにおける感覚提示は，視覚，聴覚，触覚，力覚と いった物理的刺激による感覚提示がほとんどで，味覚，嗅覚といった 化学的刺激による感覚提示の研究は発展途上にある． 嗅覚提示においては、ユーザの順応や匂いの混合・消臭など、 匂い物質の散布に起因する課題がある。
本研究では，利用者の「匂いを嗅ぎたい」という意志に応じて 匂いを出すデバイスがVR に適していると考え，能動 的に匂いを嗅ぐ動作に特化することで匂い源の排出量 を最小限に抑えられる嗅覚提示装置を開発する。
また，開発したデバイスが可能とするインタラ クティブな匂い提示を用いて，画像による匂い認知へ の影響について検証を行う。 物体画像が表示されることで，物体画像に「対応していない匂い」を 「対応する匂い」と誤認する可能性が下がる場合があり， 匂いを提示する前に対応する物体画像を提示すること で，提示する匂いがより認識しやすくなる，という結 果が得られた．
» より詳しい説明 [望月2005]

流体可触化デバイスの構築

haptic_ball haptic_air

視覚情報による複雑な現象の理解には、視覚情報が最終的に2次元の 網膜に投影されることによって本質的に避け難いオクルージョンの発生や、 視覚情報が膨大であるがゆえに個々の要素に対してはインパクトが 低下するといった問題が付随する。 これらの問題を解決する一手法として、触覚の利用を試み、 流れ場におけるある1点の速度を指先の触覚を通して認識できる 可触化デバイスを提案、試作する。 本研究では以下の2種の手法を提案・試作した。

  1. 回転方向と速度が制御された球を指先で触る
  2. 空気噴流を周囲の適切な方向から指に吹きつける

医用画像の没入型VR可視化

異種画像情報の統合とウォークスルー

multi_registration multi_skin multi_vessel multi_mri

医療現場における体内情報の計測には、超音波・X線・MRIなど多様な測定手法が 利用されているが、患部に対して複数の手法で計測を行い、 その関係性を調べることで初めて得られる知見も存在する。 その際に重要なのは複数の計測技法から得られる異種画像情報を 正確に位置合わせすることである。 本研究では、頭部の外部と内部の構造および血流情報から得られる血管走行を シームレスに統合した脳内ウォークスルー環境を構築する。

腎臓糸球体の3次元可視化

kidney_slice kidney_labeled kidney_operation kidney_interface

腎機能の定量的評価を行うために、 組織の形態情報を3次元像として観察することに加えて、 糸球体の自動認識と、認識結果に修正を加えるインタフェースを 備えることで、個数や大きさの分布などの 特徴量を計測することのできる3次元可視化環境を構築する。 没入環境内のユーザインタフェースとして、ワイヤレス トラックボールを使用し、トラックボールに取り付けた赤外線LEDを 複数の魚眼カメラで天井から観察して位置を把握することで、 完全にワイヤレスな環境が提供される。

遠隔地の没入ディスプレイ間における共有VR環境の構築

遠隔地に存在する複数の没入型ディスプレイ間において、 1つのVR空間を共有し、対象の観察と討論が行える環境を構築する。 本研究が提供する没入型共有空間は、 それぞれが自由に観察し、各人の注目している領域が提示される 自由視点モードと、マスターの視点に他のクライアントが追随する 視点共有モードを備え、 遠隔地間での複数医師の一症例に対する意見交換や、 医学生への遠隔授業を支援する。

超音波カラードプラ像に基づく血流可視化

flow_path flow_arrow flow_particle flow_cylindra

心臓病の病態評価に際しては、心臓内における血流動態を 正確に把握することが必須である。 血流動態の取得には超音波ドプラ法が広く医療現場で使用されており、 弁逆流や狭窄部の異常血流の程度を判断する際に多大な効果を上げているが、 弁周囲の複雑な挙動を把握し、弁疾患の診断をより精緻に行うためには、 血流をベクトル場として扱った3次元可視化が必要である。 本研究では高次元の情報を広い視野を持ちステレオ視が可能な 没入型ディスプレイを用いて、血流の3次元可視化を行う。 複数の手法をインタラクティブに適用することで、 血流場の大局的構造の把握、患者への病態説明に有用であると考えられる。

没入VR環境のユーザインタフェイス

バーチャル大腸内視鏡における適応的カメラ操作インターフェース

endoscopy_overview

3次元医用画像から計算機上で人体器官を再構成し，内視鏡のような画像を提 示するバーチャル内視鏡が，医用画像診断支援方法として注目されている． バーチャル内視鏡の利点の一つに視点の自由性があげられるが，大腸のように複 雑な形状を持つ器官においては，カメラの自由度に対応した一意的な操作法では 操作が煩雑になる．また，カメラ操作を自動化した場合はユーザの意思が反映さ れにくい．
本研究では，目的と状況に応じて適切な動作を選択し実行する適応的 カメラ操作インターフェースを提案する．大腸内壁の診断手順における作業段階 と，現在ユーザに提供している画像情報を手がかりとして，最適な動作が選択さ れる．提案インターフェースでは，診断を病変部の探索と，発見した病変部の指 定及び観察の2段階に分ける．探索においては，画面内の位置，カメラからポイ ンティング対象までの距離，ポインティング位置周辺の対象物の形状に基づいて， 注目点の方向に進む・視点を回転させる・ひだをまわり込む動作を適応的に選択 する．

VR空間における操作者の姿勢に基づく指示方向推定

direction_overview direction_marker direction_cylindra direction_move

本研究では，VR空間における作業対象物体と操作者間の円滑な相互作用を 実現するために，操作者の姿勢に基づき指示方向を推定する手法について提案する． 提案手法では，指示方向を，操作者の複数の身体部位と人差し指の先端を 結ぶ方向の重み付け平均として表現する． この重みを収束計算で求めることにより，個人・方向・距離によって 生じる差を吸収し，指差し方向を推定することを可能にする． 実験から，提案手法が操作者の意図している指示方向を約3度の精度で推定でき， VR空間での対象物体の直接操作に有効であることが示された．
» より詳しい説明 [武田2005]

没入型可視化環境における3次元ユーザインタフェイスの統一プロトコル

大規模なスクリーンによって構築される没入感提示環境を用いた3次元像の可視化は、 従来の平面ディスプレイやヘッドマウンテッドディスプレイ(HMD)を 用いた可視化に比べて、より広視野でかつ立体形状の把握が容易な 可視化環境をユーザに提供可能である。
現在、2次元画像に対しては、マウス等を用いて種々の操作を施すことが 一般的に行われている。3次元像とのインタラクションに際しても、 2次元像に対した際と同等の直感的な操作が行えることが 望ましいが、現時点では決定的な方法は確立されていない。 ユーザインタフェイスを実現するためのデバイスも、 様々な特徴を持つデバイスが使用されている状態である。
本研究では、多様な没入型可視化環境を 統一的に扱うことのできるプロトコルの構築を目的として、 可視化に必要な3次元ユーザインタフェイスの 共通機能を定義し、それら共通機能と各種デバイス固有の操作とを 系統的に結び付けることのできる枠組みを提案する。

情報考古学

古代壁画のディジタル保存のための計測システム開発

wallarchive_target wallarchive_system wallarchive_normal wallarchive_result

現在の遺跡・遺物のディジタル保存はレーザー距離計と写真 による計測・記録が主であるが、壁画のような往 時の筆致までもが重要な研究対象となる対象には 精度が不十分である。本研究ではパターン光投影 法による形状計測と照度差ステレオ法による法線 計測を相補的に組み合わせることにより、壁画の 記録に適した計測アルゴリズムおよびシステムを 開発する。
パターン光計測法は、プロジェクタから既知の パターンを投影し、カメラで撮影した画像中で対 応付けることにより、三角測量の原理で対象物の 形状を測定する手法であり、対象物の距離画像が 得られる。照度差ステレオ法は、多数の既知の照 明環境下での対象物の見えを計測した結果から、 画像の各ピクセルにおける対象物の法線を求める 手法であり、対象物の法線マップが得られる。パ ターン光計測法は奥行き方向の精度が他の2 軸に 比べて低下するが、本手法では法線マップを利用 することで精度を補う。一方、照度差ステレオで 正確な法線を求めるためには、光源に対する注目 点の位置が必要であるが、この推定に距離画像を 利用する。

点群解析に基づく遺物の計測支援システム

考古遺物の三次元形状計測を行う際に、対象の形状を考慮しない画一的な計測 では、計測モデルの正確性にばらつきが生じることがある。計測段階ではこの ような部位の発見は難しいため、取りこぼしの少ない計測結果を得るためには 計測回数を増やすことになり、多大な時間がかかるという問題がある。本研究 では、計測段階において、計測された点群を逐次解析し、点群がユーザの要求 する水準を満たしているかを評価する。評価結果を基に再計測が必要とされる 再計測候補部位を発見し、形状特徴と計測機器の特性を考慮して、再計測時に 最適な計測機器の位置と方向を教示するという方法で計測を支援する。実験よ り、提案手法による再計測候補部位の発見と最適計測方向の算出結果が、人手 による直感的な評価と矛盾しないことを確かめた。また、提案する計測支援シ ステムを用いて遺物の三次元形状計測を行い、取りこぼしの少ない遺物の全周 囲形状モデルを得た。その結果、計測段階において計測状況を確認でき、再計 測の指示がシステムから与えられることは、取りこぼしが少ない三次元形状計 測に有効であることがわかった。
» より詳しい説明 [松本2005]

異種計測手法の統合による亀形石のデジタル保存

kameishi_whole kameishi_local kameishi_model kameishi_cylindra

2000年1月に奈良県明日香村で発掘された亀形石は、飛鳥時代の文化を解き明か す鍵となる石造物として、考古学者の注目を集めている。 本研究では異種の計測手法を複合して用いることで亀形石のデジタル保存を試みた。 光波測量・非接触3次元デジタイズ・ステレオ計測という 性質の異なる複数の計測手法を用いることにより、 亀形石全体の3次元形状をテクスチャと共に細部まで取得する ことが可能となった。取得した遺物形状はVRML形式で保存されているため、 遠隔地にあってもネットワークを介して自由に閲覧できる。
» より詳しい説明 [井村2001]

エンタテインメントVR

インタラクティブウォール

interactivewall_station interactivewall_scene1 interactivewall_scene2 interactivewall_bubble

インタラクティブウォールは、近鉄けいはんな線の開通にあたり、 大学最寄り駅である学研北生駒駅の公共空間に彩りを与えることを目標に 制作された、見るだけではなく、自分が絵の中に登場できる壁画である。 壁画の中では、観光地に行った雰囲気を味わうことや、名画のモデルと して登場すること、コンピュータグラフィックスで描かれた学研北生駒駅のマス コットキャラクタ「キタちゃん」「イコちゃん」と遊ぶことなどができる。
» より詳しい説明 [井村2006]

バーチャル流鏑馬 - 騎馬弍武者弍

kibakiba_title kibakiba_system kibakiba_play1 kibakiba_play2

流鏑馬には乗馬と弓道の双方において高い技術が要求される上に、 それらを馬上において両立させて発揮しなければならないため、 一般の人々は大半の場合一生涯を通して流鏑馬を体験することはない。 バーチャル流鏑馬「騎馬弍武者弍」は、 「バーチャル」が本来持つ「実質上の」という意味を鑑みて、 流鏑馬を構成する様々な要素のうち本質的な部分を抽出し、 弓型デバイス、馬型デバイス、L字型2面スクリーンを用いて、 誰もが容易に体験可能な形態で再構築したエンタテインメント作品である。 2000年の学生対抗手作りバーチャルリアリティコンテストにおいて、 岐阜VR大賞を受賞した。

ウェアラブルインタフェース

AirGrabber: 小型カメラと傾斜センサを用いたバーチャルキーボード

近年のハードウェア技術の進歩により，コンピュータ本体および周辺機器の小 型・軽量化が実現したことで，小型のコンピュータを身体に装着して使用する ウェアラブルコンピュータが実用化されつつある．その一方で，ウェアラブル コンピュータを操作するための，従来のキーボードに代わる携帯型文字入力イ ンタフェースも提案されているが，それらは機能や使用環境の制限，操作方法 の特殊性等の理由から，使いづらいものが多いのが現状である．
本研究では，ウェアラブルコンピュータへの適用を考慮に入れた，既存のキー ボードを使用する感覚で指を動かすことで文字入力を可能にするバーチャルキー ボードAirGrabberを提案，構築した． AirGrabberは，何も無い空間での指の動きを，手首に装着した小型カメラを用 いて動画像処理により認識し，キーの打ち分けを行う際には傾斜センサを利用 する．したがって，動作に必要な機器が手首部分だけでまとまるため，持ち運 びに適し，直感的な入力を可能とする新たな文字入力インタフェースであると 言える．
» より詳しい説明 [藤本2004]

高精細手書き情報生成のためのペンデバイス

本研究では、ウェアラブル環境で利用するペンデバイスとして、 カメラとレーザポインタで構成されるペンデバイスを提案する。 提案システムでは, カメラは書字面の上方から書字面を鉛直下向きに撮像する. カメラから得られる映像の各フレームに対し, テンプレートマッチングを行う ことで, 画像内での相対的な移動量を検出する. また, 得られる画像と書字面 が透視投影の関係にあると仮定すると, カメラの高さに応じて映される書字面 の領域が変化するため, 高さ毎に相対移動量も変化してしまう. 複数のレーザー ポインタが書字面に生成する輝点の位置をカメラから取得し, ペンデバイスと 書字面との位置関係を取得する. 計測された情報に基づいて, 相対移動量の補 正を行ない、実空間での移動量を求める. 得られた移動量をマウスカーソルに 与え, またペンの高さから描画の ON-OFFの状態を判断する。
» より詳しい説明 [佐官2004]