実装されている仕様

ゲームにおいて、自分視点の 3D アプリケーションにおいてキャラクターの方向制御を行うなどで、マウスもコントローラーとなりえます。そういったゲームではマウスイベントと DOM との関連を切り、画面からカーソルを消すために Pointer lock を利用可能です。

モバイルデバイスの流行はタッチベースの操作によるものです。キーボード・マウスといったウェブプラットフォームで古くから利用可能な入力方法もこの文脈で利用可能ではあるものの、より適したユーザ体験のためにはタッチベースの入力方法に特化した処理が必須となり、Touch Events in the DOM (Document Object Model) により実現されています。

Media Capture and Streams API はゲームで様々な目的で利用されるカメラ・マイクへの接続を実現し、制御入力 (ゲームアクションの制御のために特定の音声を利用する)、連携機構 (特定の物体・バーコードをカメラに向ける)、文脈情報 (拡張現実においてユーザの背景を描画する)、や単純にプレイヤー間の交信目的などに利用可能です。

Geolocation API は利用される技術 (GPS、WiFi 接続情報、携帯通信による三角測量など) によらないデバイスの位置情報への共通インターフェースを定義します。

DeviceOrientation Event 仕様 は動作デバイスの物理的向きや動きに関連するいくつかの DOM イベントを提供します。ほとんどのブラウザがこの仕様を実装していますが、様々な相互運用性の問題が発見されています。Geolocation WG が閉じた際にこの仕様自体の開発は終了しました。デバイスとセンサー WG (Devices and Sensors Working Group) が新たに設置され、実装間の相違を減らし仕様策定を完了させ、またより強力な Orientation Sensor 仕様を並行して開発するために活動しています。

Vibration API はゲーム開発者に新しい形の触覚に訴える出力を提供します。

ユーザエージェントアクセシビリティーガイドライン (UAAG) 2.0 技術ノートはユーザエージェントがアクセシブルなインターフェースを実装することや支援技術を利用するための原則とガイドラインを定義しています。補助文書の UAAG 2.0 リファレンス は UAAG 2.0 の成功基準のための意図と最良実施例について述べ、それらの様々な例を挙げています。

Web Content Accessibility Guidelines (WCAG) 2.1 に準拠することにより、より広い領域の障害を持つ人々向けにコンテンツをアクセシブルにできます。2.1 版では 2.0 に加えて新しい達成基準とガイドラインを追加し、 Pointer GesturesTarget Size といったゲーム特有のユーザ入力に関連した基準が含まれます。

ウェブコンテンツ開発者は、ウェブ編集支援ソフトを障害を持つ作成者にアクセシブルにしコンテンツを WCAG 準拠で記述する手助けをするためのガイドラインである Authoring Tool Accessibility Guidelines (ATAG) 2.0 に従う編集支援ソフトを活用することが可能です。

Accessible Rich Internet Applications (WAI-ARIA) 1.1 標準は、ユーザインターフェースのエレメントのセマンティクスの定義やウェブコンテンツやアプリケーションのアクセシビリティー・相互運用性を改善するための分類・状態・属性の概念を定義します。Core Accessibility API Mappings 1.1 標準ではユーザエージェントがそれらのセマンティクスをアクセシビリティー API にどのように公開すべきかについて述べています。

機能仕様・グループ標準化段階現在の実装状況
Select browsers…
Mouse lockPointer Lock 2.0
Web Applications Working Group
草案
Touch-based interactionsTouch Events
Web Events Working Group
勧告
Media captureMedia Capture and Streams
WebRTC Working Group
勧告候補
SensorsGeolocation API Specification 2nd Edition
Geolocation Working Group
勧告
DeviceOrientation Event Specification
Devices and Sensors Working Group
草案
VibrationVibration API (Second Edition)
Devices and Sensors Working Group
勧告
AccessibilityUser Agent Accessibility Guidelines (UAAG) 2.0
User Agent Accessibility Guidelines Working Group
技術ノート - informative
UAAG 2.0 Reference: Explanations, Examples, and Resources for User Agent Accessibility Guidelines 2.0
User Agent Accessibility Guidelines Working Group
技術ノート - informative
Web Content Accessibility Guidelines (WCAG) 2.1
Accessibility Guidelines Working Group
勧告
Authoring Tool Accessibility Guidelines (ATAG) 2.0
Authoring Tool Accessibility Guidelines Working Group
勧告
Accessible Rich Internet Applications (WAI-ARIA) 1.1
Accessible Rich Internet Applications Working Group
勧告
Core Accessibility API Mappings 1.1
Accessible Rich Internet Applications Working Group
勧告

仕様化が進行中の仕様

Gamepad 仕様はデバイスに接続されたゲームパッドデバイスにアクセスする低レベルインターフェースを定義しています。

WebXR Device API はトラッキングコントローラーの状態やジェスチャー入力を含む VR/AR 特有の入力手法を定義しています。

Pointer Events Working Group はユーザ入力を扱う別な手法である Pointer Events について大きな進展を見せ、マウス・タッチ・ペンといった入力イベントを一つのモデルで扱えるようにしました。これにより、現在広く利用されている Touch Events と同等でより統一された手法が利用可能になります。

特に、touch-action CSS プロパティーによりエレメントにおいてジェスチャーイベントをフィルター可能となり、Pointer Events の実装以上の操作が行えます。

Input Device capabilities API の初期段階の提案では、"マウス"イベントがタッチ可能デバイスからのものかどうかについての情報を提供することを目標としています。

Generic Sensor API はセンサーからのデータをウェブプラットフォームに統一的な形で公開するためのフレームワークを定義します。特に、この仕様では異なったセンサーに対応させるために拡張可能な抽象化された Sensor インターフェースにより、特定のセンサーについての仕様を作成するための青写真を提供します。

この Generic Sensor API に基づいて様々なセンサー API が定義されつつあります。Proximity Sensor 仕様は物理的接触がない近接オブジェクトの存在を検出するための API を定義しています。Ambient Light Sensor 仕様は背景光レベルや照度を検出するための APIを定義しています。

動作の検出は Generic Sensor API の上に定義された低レベル・高レベルのモーションセンサー仕様の組み合わせで実現されています:

  • Accelerometer はデバイスに加わっている3直交軸の加速度情報を取得するためのものです。
  • Gyroscope はデバイスの3直交軸周りの回転量を取得するためのものです。
  • Magnetometer はデバイスの3直交軸周りの磁場状態を取得するためのものです。
  • Orientation Sensor はデバイスの鉛直 3D 直交座標系に対するデバイスの物理的傾きを取得するためのものです。

Motion Sensors Explainer 文書は低レベル・高レベルのモーションセンサーについて関係性、内部動作や一般的な利用方法についての導入となります。

Geolocation Sensor はデバイスが読み取った地理情報を取得するための API です。Geolocation Sensor の機能セットは Geolocation API と近いですが、Generic Sensor API 上に定義されており、セキュリティー・プライバシーの改善や拡張性が加わっています。

深度情報付きカメラが市場に出回ってきており、Media Capture Depth Stream Extensions によりそれらが出力する追加情報も取得できるようになります。

ゲームプレイヤーはそのプレイを記録しソーシャルネットワークで共有して楽しんでいます。Media Capture from DOM elements API によりアプリケーション内で描画されたコンテンツを録画や転送のためのメディアストリームに変換することが可能になります。より一般的には、他のアプリケーション (もしくは画面全体) による描画内容も Screen Capture API によりストリームに変換可能です。

ストリームとしてキャプチャー・生成・受信されたメディア情報は Media Recorder API を利用することで録画することが可能です。

Mediastream Image Capture 仕様はズームやホワイトバランスの制御などの静止画の設定といったカメラのより高度な利用を提供します。

ユーザがゲームへのコマンドを口頭で行う、もしくは非接触方法経由で操作を行うなどの手法をとる場合、デバイスのスクリーンセーバーにより画面が自動的に消灯されてしまう懸念があります。Screen Wake Lock API により開発者はそのような状況下でも画面を点灯したままにしておくことが可能になります。

機能仕様・グループ標準化段階現在の実装状況
Select browsers…
Game controllersGamepad
Web Applications Working Group
草案
WebXR Device API
Immersive Web Working Group
勧告候補
Touch-based interactionsPointer Events
Pointer Events Working Group
勧告
touch-action in Pointer Events
Pointer Events Working Group
勧告
Input Device Capabilities
Web Platform Incubator Community Group
編集者草案
SensorsGeneric Sensor API
Devices and Sensors Working Group
勧告候補
Proximity Sensor
Devices and Sensors Working Group
草案
Ambient Light Sensor
Devices and Sensors Working Group
草案
Accelerometer
Devices and Sensors Working Group
勧告候補
Gyroscope
Devices and Sensors Working Group
勧告候補
Magnetometer
Devices and Sensors Working Group
草案
Orientation Sensor
Devices and Sensors Working Group
草案
Geolocation Sensor
Devices and Sensors Working Group
草案
Media captureMedia Capture Depth Stream Extensions
WebRTC Working Group
廃止
Media Capture from DOM Elements
WebRTC Working Group
草案
Screen Capture
WebRTC Working Group
草案
MediaStream Recording
WebRTC Working Group
草案
MediaStream Image Capture
WebRTC Working Group
草案
Screen wake lockScreen Wake Lock API
Devices and Sensors Working Group
草案

調査中の項目

ゲームによっては体験の改善のためにユーザに物理オブジェクトとの連携を行わせたい場合があります。Web Near-Field Communications (NFC) API は近接した2つのデバイス間の無線通信を実現します。同様に Web Bluetooth 仕様により Bluetooth Low Energy (BLE) 経由でのデバイスの検出と通信が実現されます。

ビデオストリーム中で特定の物体を検出することは難しく、また CPU 消費も大きいです。古典的ビデオ処理の手法に加えて、現代の GPU では拡張現実アプリケーションで利用可能な顔や物体認識などの高度な画像処理機能を提供していることが多いです。Shape Detection API がこの領域を扱っています。

多くの場合モバイルデバイスは音声入力で利用可能な機能を備えています。Speech API Community Group ではウェブページを音声コマンドで制御可能にする JavaScript API を開発しています。Speech synthesis はいくつものブラウザで実装されています。speech recognition の実装はまだ途上です。

Input Method Editor (IME) API ではウェブアプリケーションからユーザエージェントが利用する IME へのスクリプトからのアクセスを実現します。編集上のサポートがこの仕様を進めるにあたって必要とされています。

機能仕様・グループ実装意向の状況
Select browsers…
Interactions with physical objectsWeb NFC API
Web NFC Community Group
Web Bluetooth
Web Bluetooth Community Group
Object recognitionAccelerated Shape Detection in Images
Web Platform Incubator Community Group
Speech-based interactionsSpeech synthesis in Web Speech API
Web Platform Incubator Community Group
Speech recognition in Web Speech API
Web Platform Incubator Community Group

出荷済:
出荷済 in Chrome (desktop, mobile). Source: Chrome Platform Status.出荷済 in Microsoft Edge (desktop). Source: Chrome Platform Status.出荷済 in Firefox (mobile). Support may be partial. Source: Can I use.出荷済 in Opera (desktop). Support may be partial. Source: Can I use.

実験的:
実験的 in Firefox (desktop). Feature is behind a flag. Source: Can I use.実験的 in Safari (desktop, mobile). Feature requires using a prefix. Source: Can I use.実験的 in Baidu Browser (mobile). Feature requires using a prefix. Source: Can I use.実験的 in QQ Browser (mobile). Feature requires using a prefix. Source: Can I use.実験的 in Samsung Internet (mobile). Feature requires using a prefix. Source: Can I use.実験的 in UC Browser (mobile). Feature requires using a prefix. Source: Can I use.

Input methodInput Method Editor API
Web Platform Working Group

進行中の項目で対応していない項目

ジェスチャーイベント (Gesture events)
上述で触れられているように、モバイルデバイスではタッチベースの操作が一般的でウェブアプリケーションでは Touch events 経由で利用可能です。ピンチ、回転、スワイプを含むジェスチャーベースの操作もモバイルデバイスでは一般的になっています。ウェブ開発者は何らかの方法により touch events からジェスチャーイベントを抽出可能かもしれませんが、異なるブラウザ向けに複数のバージョンを開発しなければならないでしょう。それらの操作をネイティブサポートすることは実装間分断を防ぎパフォーマンス改善につながると思われます。Merging of Web and Mobile APP Community Group において Gesture events の定義に向けた初期の議論が進んでいます。

中止された項目

意図を解釈したイベント (Intent-based events)
ウェブの新しいデバイスへの進出や新しい入力手法のデバイスへの実装に伴い、ウェブ開発者により抽象的なユーザインタラクションを実現することが有用だと思われるようになりました。"クリック"、"キー入力"、"タッチイベント"によって動作するのではなく、"取り消し"コマンドや"次のページへ"コマンドをユーザによるデバイスへの設定によらず実現するというようなことです。IndieUI Events 仕様がこの要求を実現するために考案されていました。今のところこの仕様は実装者からの支持不足により中断しています。