人とデバイスの間をつなぐストラップ、入力デバイスについて

iPhoneが変えたコミュニケーション方法

2007年1月9日、Apple CEO Steve Jobsが新しいデバイスを紹介し、モバイルの世界は永遠に変わった。 最も革新的な 発明品の一つであるiPhoneの登場でスマートフォンの時代が始まったのだ。

いつ、どこでもオンラインにアクセスでき、モバイルアプリケーションで出勤するバスでゲームをしたり、ランチメニューの写真を撮ったり、デパートで物を購入したりする。 

• 

そしてSteve Jobsは私たちが究極のポインティングデバイスを持って生まれ、iPhoneは最も革新的なユーザーインターフェースを作るために指を使っています、 スタイラスは必要ありませんと言った。以後、タッチスクリーンはスマートフォンの基本形式となった。そして彼はスタイラスの消滅を予想した。

予期しないスタイラスの残存

ジョブズは次のように回想する。その人は、MicrosoftがタブレットPCソフトウェアに世界を完全に変えるだろうと言うので、ノートパソコンは完全に消えるだろうと。だからAppleは自分が開発したMicrosoftソフトウェアに対してライセンスを得なければならないと私を悩ませ続けました。

しかし、彼のデバイスは完全に間違った方法を書いていました。スタイラスが付いていました。スタイラスがあれば終わりです。その日の夕方、その人は私にその話を10回くらいしたでしょう。私はうんざりして家に帰ってこう言いました。 「笑っています。本物のタブレットがどんなものか見せてくれます。」

翌日、ジョブズは会社に出勤し、自分のチームを集めておいた。 「タブレットコンピュータを作りましょう。ただし、キーボードやスタイラスが付いていないはずです」指でスクリーンをタッチして入力できるはずだということだった。 

2002年、ジョブズは自身が開発したタブレットコンピュータのソフトウェアに対して絶えず騒がれていたMicrosoftのエンジニアのために迷惑をかけた。それはスタイラスやペンを使って画面に情報を入力する方法だった。

その年に何人かの製造業者がそのようなソフトウェアを使用するタブレットPCをリリースしましたが、そのうちのどれも宇宙に痕跡を残すことができませんでした。ジョブズはPCの正しい標本を（スタイラスを使ってはいけないということを！）見せたくて狂気だった。

出典：<スティーブジョブズ>、ウォルターアイザクソン、ミン・サムソン、2011. 738p、773p引用

• 

このようにスタイラスの舞踊論を主張していたアップルもジョブズが膵臓がんで世を去った後、ティムクック体制だった2015年度にiPadプロ製品と共にアップルペンシルを発売した。

ペンダンスの繁栄と筆記感の問題、別売りなどの議論があったが、ペン（スタイラス）と物理キーボードが究極のポインティングデバイスである指より上手にできることもあった。キーボードで文書を入力したり、鉛筆、またはタブレットで絵を描いたユーザーがすでに おなじみの入力装置を探すのは当然の結果だった。

• 

このようにいくら進歩した装置にも それに合った入力装置がない場合 その価値は低下し、ユーザーがデバイスを介して実行できる機能に制限があります。タッチスクリーンの登場は本当に革新的だった。しかし、絵を描くために指を使用することは非常に非効率的です。今日はXRデバイスの入力装置について説明します。

XRデバイスと入力装置

VR装置とAR装置はそれぞれの用途によって入力装置の形態や使い方が変わるだろうが、その種類が多すぎて今日は下図に基づいて入力装置を分類し、簡単な使用例を説明しようとしている。左のTypeでわかるように 視覚情報と聴覚情報、動き、位置、方向に基づいています。

• 

視覚ベース

一般的なカメラ(Default Camera)

最も一般的な入力方式であり、様々なXRコンテンツの入力方法として使用されている。オブジェクトとパターンを認識するという点で拡張現実のマーカー基盤が良い例になるだろう。主に他の方法と混合して使用することがよくあります。

• 

• 

• 

• 

赤外線カメラ(Infrared Camera)

一般的なカメラとは異なり、文字通り赤外線カメラを用いた入力方式だ。マイクロソフト社のゲーム機であるXBOXとWindows PCの周辺機器であるKinectが最も有名な赤外線ベースの入力装置だ。

ユーザーの動きとともに音声を認識することができ、赤外線を使用して一般的なカメラよりも物事の形や動きをより正確に把握できます。下の画像は産業用に開発されたAzure Kinect（2019）製品で、物事を感知する例を示しています。

聴覚 ベース

マイク (Microphone)

一般的なカメラと同様に、デバイスに内蔵されたカメラで音声を認識してコマンドを出すことができます。単独で使用されることもあるが、マイクも他の装置の機能と共に使用されることが多い。

• 

アクション ベース

動作を検出するための基盤として、最も広く使用されている入力装置の1つです。しばしばコントローラと呼ばれる機器やマウス、キーボードがこれに該当する。コントローラの動きとボタンのクリック、タイピングなどでデータを入力することができる。

そしてそれに応じて絵を描くことも、テキストを作成することもできる。他の記事で先に紹介した チルトブラシ代表的なものであり、コントローラ内のセンサが位置情報や加速度などを計算して動きを測定することができる。

• 

• 

そして、モーションセンシングベースのデバイスは、ジェスチャの相互作用とモーションキャプチャに主に使用されます。そしてコンピュータグラフィックスと共に活用して映画やゲーム、アニメーションなどを制作するのに使われることもある。

場所 ベース

区域位置決めシステム（GPS）、無線周波数識別（RFID）

GPSは私たちにとってとても使い慣れた技術であり、アメリカで開発し管理する衛星航法システムであり、世界のどこでも人工衛星と通信して自分の位置を正確に知ることができる。位置情報は経度、緯度、標高（海抜高度）からなっている。さらに正確な時間情報まで得ることができる。

RFIDは不慣れですが、思ったよりおなじみの技術です。電波を利用して遠い距離で情報を認識する技術。減ってRFと呼ぶこともある。スマートフォンの支払いをするときに使用されるNFC技術はRFIDと似ています。ただし、RFIDの受信範囲がより長く、単方向通信（NFCは双方向通信）という違いがある。

方向 ベース

ジャイロスコープ(Gyroscope)、磁気センサ(Magnetic Sensor)

ジャイロスコープセンサおよび磁気センサも同様に上記の他の入力装置と共に使用される。まず、ジャイロセンサーは、X、Y、Z座標で移動する方向を測定するために使用されます。そして、この出力信号を処理して物体の加速度や振動、衝撃など動的な力を逆推定、逆算出することができる。

• 

磁気センサ内部には磁界の強度を測定できるセンサがジャイロセンサと同様にＸ、Ｙ、Ｚ軸方向に付いており、各センサ間の出力を合計して磁界の方向を測定することになる。このように地球の磁場を測定してデジタルコンパスとして使用され、GPSセンサーとの組み合わせで位置ベースサービスを実現することになる。

• 

言う

このように技術が発展するほど、より多くの入力装置が登場している。そしてそれはXR分野にも等しく、革新を引き起こす小さな誕生は鉛筆で書く文章の一行からも始まる。今後も登場するより多くの入力装置を期待しながら、未来の姿を想像することができる。