実装されている仕様
ゲームにおいて、自分視点の 3D アプリケーションにおいてキャラクターの方向制御を行うなどで、マウスもコントローラーとなりえます。そういったゲームではマウスイベントと DOM との関連を切り、画面からカーソルを消すために Pointer lock を利用可能です。
モバイルデバイスの流行はタッチベースの操作によるものです。キーボード・マウスといったウェブプラットフォームで古くから利用可能な入力方法もこの文脈で利用可能ではあるものの、より適したユーザ体験のためにはタッチベースの入力方法に特化した処理が必須となり、Touch Events in the DOM (Document Object Model) により実現されています。
Media Capture and Streams API はゲームで様々な目的で利用されるカメラ・マイクへの接続を実現し、制御入力 (ゲームアクションの制御のために特定の音声を利用する)、連携機構 (特定の物体・バーコードをカメラに向ける)、文脈情報 (拡張現実においてユーザの背景を描画する)、や単純にプレイヤー間の交信目的などに利用可能です。
Geolocation API は利用される技術 (GPS、WiFi 接続情報、携帯通信による三角測量など) によらないデバイスの位置情報への共通インターフェースを定義します。
DeviceOrientation Event 仕様 は動作デバイスの物理的向きや動きに関連するいくつかの DOM イベントを提供します。ほとんどのブラウザがこの仕様を実装していますが、様々な相互運用性の問題が発見されています。Geolocation WG が閉じた際にこの仕様自体の開発は終了しました。デバイスとセンサー WG (Devices and Sensors Working Group) が新たに設置され、実装間の相違を減らし仕様策定を完了させ、またより強力な Orientation Sensor 仕様を並行して開発するために活動しています。
Vibration API はゲーム開発者に新しい形の触覚に訴える出力を提供します。
ユーザエージェントアクセシビリティーガイドライン (UAAG) 2.0 技術ノートはユーザエージェントがアクセシブルなインターフェースを実装することや支援技術を利用するための原則とガイドラインを定義しています。補助文書の UAAG 2.0 リファレンス は UAAG 2.0 の成功基準のための意図と最良実施例について述べ、それらの様々な例を挙げています。
Web Content Accessibility Guidelines (WCAG) 2.1 に準拠することにより、より広い領域の障害を持つ人々向けにコンテンツをアクセシブルにできます。2.1 版では 2.0 に加えて新しい達成基準とガイドラインを追加し、 Pointer Gestures や Target Size といったゲーム特有のユーザ入力に関連した基準が含まれます。
ウェブコンテンツ開発者は、ウェブ編集支援ソフトを障害を持つ作成者にアクセシブルにしコンテンツを WCAG 準拠で記述する手助けをするためのガイドラインである Authoring Tool Accessibility Guidelines (ATAG) 2.0 に従う編集支援ソフトを活用することが可能です。
Accessible Rich Internet Applications (WAI-ARIA) 1.1 標準は、ユーザインターフェースのエレメントのセマンティクスの定義やウェブコンテンツやアプリケーションのアクセシビリティー・相互運用性を改善するための分類・状態・属性の概念を定義します。Core Accessibility API Mappings 1.1 標準ではユーザエージェントがそれらのセマンティクスをアクセシビリティー API にどのように公開すべきかについて述べています。
仕様化が進行中の仕様
Gamepad 仕様はデバイスに接続されたゲームパッドデバイスにアクセスする低レベルインターフェースを定義しています。
WebXR Device API はトラッキングコントローラーの状態やジェスチャー入力を含む VR/AR 特有の入力手法を定義しています。
Pointer Events Working Group はユーザ入力を扱う別な手法である Pointer Events について大きな進展を見せ、マウス・タッチ・ペンといった入力イベントを一つのモデルで扱えるようにしました。これにより、現在広く利用されている Touch Events と同等でより統一された手法が利用可能になります。
特に、touch-action CSS プロパティーによりエレメントにおいてジェスチャーイベントをフィルター可能となり、Pointer Events の実装以上の操作が行えます。
Input Device capabilities API の初期段階の提案では、"マウス"イベントがタッチ可能デバイスからのものかどうかについての情報を提供することを目標としています。
Generic Sensor API はセンサーからのデータをウェブプラットフォームに統一的な形で公開するためのフレームワークを定義します。特に、この仕様では異なったセンサーに対応させるために拡張可能な抽象化された Sensor インターフェースにより、特定のセンサーについての仕様を作成するための青写真を提供します。
この Generic Sensor API に基づいて様々なセンサー API が定義されつつあります。Proximity Sensor 仕様は物理的接触がない近接オブジェクトの存在を検出するための API を定義しています。Ambient Light Sensor 仕様は背景光レベルや照度を検出するための APIを定義しています。
動作の検出は Generic Sensor API の上に定義された低レベル・高レベルのモーションセンサー仕様の組み合わせで実現されています:
- Accelerometer はデバイスに加わっている３直交軸の加速度情報を取得するためのものです。
- Gyroscope はデバイスの３直交軸周りの回転量を取得するためのものです。
- Magnetometer はデバイスの３直交軸周りの磁場状態を取得するためのものです。
- Orientation Sensor はデバイスの鉛直 3D 直交座標系に対するデバイスの物理的傾きを取得するためのものです。
Motion Sensors Explainer 文書は低レベル・高レベルのモーションセンサーについて関係性、内部動作や一般的な利用方法についての導入となります。
Geolocation Sensor はデバイスが読み取った地理情報を取得するための API です。Geolocation Sensor の機能セットは Geolocation API と近いですが、Generic Sensor API 上に定義されており、セキュリティー・プライバシーの改善や拡張性が加わっています。
深度情報付きカメラが市場に出回ってきており、Media Capture Depth Stream Extensions によりそれらが出力する追加情報も取得できるようになります。
ゲームプレイヤーはそのプレイを記録しソーシャルネットワークで共有して楽しんでいます。Media Capture from DOM elements API によりアプリケーション内で描画されたコンテンツを録画や転送のためのメディアストリームに変換することが可能になります。より一般的には、他のアプリケーション (もしくは画面全体) による描画内容も Screen Capture API によりストリームに変換可能です。
ストリームとしてキャプチャー・生成・受信されたメディア情報は Media Recorder API を利用することで録画することが可能です。
Mediastream Image Capture 仕様はズームやホワイトバランスの制御などの静止画の設定といったカメラのより高度な利用を提供します。
ユーザがゲームへのコマンドを口頭で行う、もしくは非接触方法経由で操作を行うなどの手法をとる場合、デバイスのスクリーンセーバーにより画面が自動的に消灯されてしまう懸念があります。Screen Wake Lock API により開発者はそのような状況下でも画面を点灯したままにしておくことが可能になります。
調査中の項目
ゲームによっては体験の改善のためにユーザに物理オブジェクトとの連携を行わせたい場合があります。Web Near-Field Communications (NFC) API は近接した２つのデバイス間の無線通信を実現します。同様に Web Bluetooth 仕様により Bluetooth Low Energy (BLE) 経由でのデバイスの検出と通信が実現されます。
ビデオストリーム中で特定の物体を検出することは難しく、また CPU 消費も大きいです。古典的ビデオ処理の手法に加えて、現代の GPU では拡張現実アプリケーションで利用可能な顔や物体認識などの高度な画像処理機能を提供していることが多いです。Shape Detection API がこの領域を扱っています。
多くの場合モバイルデバイスは音声入力で利用可能な機能を備えています。Speech API Community Group ではウェブページを音声コマンドで制御可能にする JavaScript API を開発しています。Speech synthesis はいくつものブラウザで実装されています。speech recognition の実装はまだ途上です。
Input Method Editor (IME) API ではウェブアプリケーションからユーザエージェントが利用する IME へのスクリプトからのアクセスを実現します。編集上のサポートがこの仕様を進めるにあたって必要とされています。
進行中の項目で対応していない項目
- ジェスチャーイベント (Gesture events)
- 上述で触れられているように、モバイルデバイスではタッチベースの操作が一般的でウェブアプリケーションでは Touch events 経由で利用可能です。ピンチ、回転、スワイプを含むジェスチャーベースの操作もモバイルデバイスでは一般的になっています。ウェブ開発者は何らかの方法により touch events からジェスチャーイベントを抽出可能かもしれませんが、異なるブラウザ向けに複数のバージョンを開発しなければならないでしょう。それらの操作をネイティブサポートすることは実装間分断を防ぎパフォーマンス改善につながると思われます。Merging of Web and Mobile APP Community Group において Gesture events の定義に向けた初期の議論が進んでいます。
中止された項目
- 意図を解釈したイベント (Intent-based events)
- ウェブの新しいデバイスへの進出や新しい入力手法のデバイスへの実装に伴い、ウェブ開発者により抽象的なユーザインタラクションを実現することが有用だと思われるようになりました。"クリック"、"キー入力"、"タッチイベント"によって動作するのではなく、"取り消し"コマンドや"次のページへ"コマンドをユーザによるデバイスへの設定によらず実現するというようなことです。IndieUI Events 仕様がこの要求を実現するために考案されていました。今のところこの仕様は実装者からの支持不足により中断しています。