研讨会委员会确定了以下演讲者和演讲，作为2020年9月的现场讨论的话题。
本次机器学习研讨会线上讨论环节将会为参会者提供中文和英文的同声传译，我们将聘请专业的传译员为大家提供同声传译服务，同声传译使用方式请参考机器学习研讨会同声传译工具。
基于浏览器的机器学习的机遇和挑战
目标：确定基于浏览器的机器的机会是什么，被采用的障碍是什么
隐私优先的机器学习方法 by Philip Laszkowicz - 11 min
- Speaker
- Philip Laszkowicz
- Abstract
- 这次演讲将讨论开发人员应该如何构建现代web应用程序，以及现有的生态系统中哪些缺失使得隐私优先的机器学习成为可能，包括WASI、模块化web架构和本地化分析所面临的挑战。
机器学习和 Web 媒体 by Bernard Aboba (微软) - 7 min
- Speaker
- Bernard Aboba (微软)
- Abstract
- 演讲将讨论机器学习中对原始视频的有效处理，强调最小化内存拷贝和与WebGPU集成的必要性。
TensorFlow.js 及以后的机遇与挑战 by Jason Mayes (谷歌) - 10 min
- Speaker
- Jason Mayes (谷歌)
- TensorFlow.js 的开发者
- Abstract
- 这次演讲将简要介绍TensorFlow.js，它如何帮助开发人员构建基于机器学习的应用程序，以及一些推动web边界的例子，并讨论了web技术堆栈的未来方向，以帮助克服web中使用机器学习的障碍，这是TF.js社区遇到的。
Extending W3C ML Work to Embedded Systems by Peter Hoddie (Moddable Tech) - 6 min
- Speaker
- Peter Hoddie (Moddable Tech)
Peter is the chair of Ecma TC53, ECMAScript Module for Embedded Systems, working to bring standard JavaScript APIs to IoT.
He is a delegate to Ecma TC39, the JavaScript language standards committee, where his focus is ensuring JavaScript remains a viable language on resource constrained devices.
He is a co-founder and CEO of Moddable Tech, building XS, the only modern JavaScript engine for embedded systems, and the Moddable SDK, a JavaScript framework for delivering consumer and industrial IoT products.
Peter is the co-author of “IoT Development for ESP32 and ESP8266 with JavaScript”, published in 2020 by Apress, the professional books imprint of Springer Nature.
He contributed to the ISO MPEG-4 file format standard.
- Abstract
JavaScript's dominance on the web often obscures its many successes beyond the web, such as in embedded systems. New silicon for embedded systems is beginning to include hardware to accelerate ML, bringing ML to edge devices. These embedded systems are capable of running the same modern JavaScript used on the web. Would it be possible for the embedded systems to be coded in JavaScript in a way that is compatible with the ML APIs of the web?
This talk will briefly present two examples of JavaScript APIs developed for the web to support hardware features -- the W3C Sensor API and the Chrome Serial API. It will describe how each has been bridged to the embedded world in a different way -- perhaps suggesting a model for how W3C ML JavaScript APIs can bridge the embedded and browser worlds as well.
机器学习的 Web 平台基础
目标：理解机器学习如何适应 Web 技术栈
Web平台：30,000英尺高的视角来审视 Web平台和JS环境约束 by Dominique Hazaël-Massieux (W3C) - 10 min
- Speaker
- Dominique Hazaël-Massieux (W3C)
- Dominique 是W3C的全职技术人员之一，负责推动Web标准化工作。他特别负责WebRTC、WebXR和Web & Networks的工作，领导创建了一个WebTransport工作组，也是Web和机器学习研讨会的组织者之一。
- Abstract
- 介绍了Web浏览器作为开发平台的特点的背景。
Web 的媒体处理挂钩 by François Daoust (W3C) - 12 min
- Speaker
- François Daoust (W3C)
- Francois是W3C的全职技术人员之一，负责管理与媒体技术相关的工作。
- Abstract
- 这次演讲将概述在Web应用程序中实时处理混合和解调媒体(音频和视频)以及呈现结果的现有的、计划的或可能的hook。它还将提出高效媒体处理的高级要求。
使用Web神经网络API访问专用的机器学习硬件 by Ningxin Hu (英特尔) - 10 min
- Speaker
- Ningxin Hu (英特尔)
- Ningxin是英特尔公司的软件工程师。Ningxin是Web社区团体中W3C机器学习的Web神经网络(WebNN) API规范的共同编辑人。
- Abstract
- WebNN API是一个新的web标准提案，它允许web应用程序和框架通过专用的设备硬件(如gpu、带深度学习扩展的cpu或专门构建的AI加速器)来加速深度神经网络。我们将使用WebNN API的原型，通过访问手机和PC上的AI加速器来演示深度神经网络执行目标检测的接近本地速度。
在web上加载和运行机器学习模型的提议web标准 by Jonathan Bingham (谷歌) - 10 min
- Speaker
- Jonathan Bingham (谷歌)
- Jonathan是Google的web端产品经理.
- Abstract
- Model Loader API是一个web标准的新提案，它利用可用的硬件加速，使从JavaScript加载和运行ML模型变得容易。API表面类似于现有的模型服务API(如TensorFlow服务、TensorRT和MXNet模型服务器)，它是对Web NN graph API提议以及较低级别的WebGL和WebGPU API的补充.
机器学习的加速图形和计算API - DirectML by Chai Chaoweeraprasit (微软) - 10 min
- Speaker
- Chai Chaoweeraprasit (微软)
- Chai领导了微软机器学习平台的开发
- Abstract
- DirectML是微软的硬件加速机器学习平台，支持TensorFlow和ONNX运行时等流行框架。它通过在任何设备上使用支持directx的GPU进行高性能训练和推断，扩展了框架的硬件空间
使用Android NNAPI加速移动设备上的机器学习推理 by Miao Wang (谷歌) - 7 min
- Speaker
- Miao Wang (谷歌)
- Android Neural Networks API 工程师
- Abstract
- Android神经网络API（NNAPI）是一个Android C API，旨在在Android设备上运行用于计算机学习的计算密集型操作。 NNAPI旨在为构建和训练神经网络的高级机器学习框架（例如TensorFlow Lite和Caffe2）提供功能的基础层。该API在运行Android 8.1（API级别27）或更高版本的所有Android设备上均可用。基于应用程序的需求和Android设备上的硬件功能，NNAPI可以在可用的设备上处理器（包括专用的神经网络硬件（NPU和TPU），图形处理单元（GPU）和数字信号处理器）上有效地分配计算工作负载（DSP）。
使用oneAPI和Data Parallel C ++以开放标准进行异构并行编程 by Jeff Hammond (英特尔) - 12 min
- Speaker
- Jeff Hammond (英特尔)
- Jeff Hammond是英特尔公司的首席工程师，在那里他研究广泛的高性能计算主题，包括并行编程模型、系统架构和开源软件。他在并行计算、计算化学和线性代数软件方面发表了60多篇期刊和会议论文。并在芝加哥大学获得物理化学博士学位。
- Abstract
- 计算机体系结构的多样性和数据密集型工作负载中对应用程序性能的不断需求，对程序员来说是永无止境的挑战。这次演讲将描述英特尔的oneAPI计划，这是一个开放的、支持高性能数据分析、机器学习和其他工作负载的异构计算生态系统。其中一个关键组件是数据并行c++，它基于c++ 17和Khronos SYCL，支持CPU、GPU和FPGA平台的直接编程。我们将描述如何使用oneAPI和Data Parallel c++为一系列设备构建高性能应用程序。
为基于云，边缘和终端设备的移动Web启用分布式DNN by Yakun Huang & Xiuquan Qiao (北京邮电大学) - 9 min
- Speaker
- Yakun Huang & Xiuquan Qiao (北京邮电大学)
- Abstract
- 本演讲介绍了针对云，边缘和终端设备上的移动网络的两种深度学习技术。一种是自适应DNN执行方案，该方案可以分割并执行可在移动Web内完成的计算，从而减少了边缘云的计算压力。另一个是在云，边缘和设备上的轻型协作DNN，它提供了与边缘云的协作机制以进行准确补偿。
协同学习 by Wolfgang Maß (DFKI) - 10 min
- Speaker
- Wolfgang Maß (DFKI)
- Saarland大学教授，DFKI科学总监
- Abstract
- 最近在设备上的浏览器中执行数据分析服务的势头强劲，但是设备上缺乏计算资源和数据保护法规正迫使人们施加严格的约束。在我们的演讲中，我们将提出一种基于浏览器的协作学习方法，用于在设备的对等网络上运行数据分析服务。我们的平台使用Javascript开发，支持服务模块化，设备上的模型训练和使用（tensorflow.js），传感器通信（mqtt）以及具有基于角色的访问控制（oauth 2.0）的对等通信（WebRTC）。
WASI-NN 介绍 by Mingqiu Sun & Andrew Brown (英特尔) - 7 min
- Speaker
- Mingqiu Sun & Andrew Brown (英特尔)
- 英特尔高级PE & 英特尔软件工程师
- Abstract
- 训练有素的机器学习模型通常部署在具有不同体系结构和操作系统的各种设备上。 WebAssembly为这些模型提供了理想的便携式部署形式。在本次演讲中，我们将介绍我们在WebAssembly系统接口（WASI）社区中启动的WASI-NN计划，该计划将标准化WebAssembly程序的神经网络系统接口。
Web 上的机器学习体验:开发者的视角
目标：在Web上编写机器学习的经验；在Web上重用现有机器学习模型的挑战和机遇；设备端模型学习，已知技术解决方案，差距
使用TensorFlow.js的快速客户端机器学习 by Ann Yuan (谷歌) - 8 min
- Speaker
- Ann Yuan (谷歌)
- TensorFlow.js的软件工程师
- Abstract
- 本演讲将介绍TensorFlow.js如何利用Web技术（例如用于GPU加速的WebGL，Web汇编和技术设计注意事项）在浏览器中启用机器学习。
ONNX.js - 在浏览器和Node.js中运行ONNX模型的Javascript库 by Emma Ning (微软) - 14 min
- Speaker
- Emma Ning (微软)
- Emma Ning 是Microsoft Cloud + AI Group旗下AI Framework团队的高级产品经理，致力于通过开放式和可互操作AI的ONNX / ONNX Runtime进行AI模型的操作和加速。她在机器学习技术方面拥有超过五年的搜索引擎产品经验，并且在探索各种业务中采用AI方面花费了超过三年的时间。她热衷于提供AI解决方案来解决业务问题并增强产品体验。
- Abstract
- ONNX.js是一个Javascript库，用于在CPU和GPU上的浏览器和Node.js上运行ONNX模型。得益于ONNX的互操作性，它还与Tensorflow和Pytroch兼容。为了在CPU上运行，ONNX.js采用WebAssembly来以接近本机的速度执行模型，并利用Web Workers提供“多线程”环境，从而获得非常可观的性能提升。为了在GPU上运行，ONNX.js利用WebGL的优势，WebGL是访问GPU功能的流行标准。通过减少CPU和GPU之间的数据传输以及GPU处理周期，ONNX.js进一步提高了性能。
Paddle.js - Web 机器学习 by Ping Wu (百度) - 5 min
- Speaker
- Ping Wu (百度)
- 百度架构师，Paddle.js负责人
- Abstract
- Paddle.js是适用于各种Web运行时的高性能JavaScript DL框架，它有助于通过Web社区构建PaddlePaddle生态系统。本演讲将介绍Paddle.js的设计原理，实现，使用场景以及该项目想要探索的未来工作。
ml5.js: Friendly Machine Learning for the Web by Yining Shi (纽约大学) - 8 min
- Speaker
- Yining Shi (纽约大学)
- ml5.js贡献者和交互电信项目(ITP)的兼职教授
Pipcook, a front-end oriented DL framework by Wenhe Eric Li (Alibaba) - 10 min
- Speaker
- Wenhe Eric Li (Alibaba)
- ML/DL on web, contributor of ML5 & tfjs, memebr of pipcook, SDE @ Alibaba
- Abstract
- We are going to present a front-end oriented platform based on TensorFlow.js. We will cover what is pipcook, the design philosophy, as well as some examples & use cases in our internal community. Apart from that, we will show a brandy new solution to bridge the flourish python DL/ML environment and javascript runtime in both browsers and nodejs.
Web上的机器学习，用于内容过滤应用程序 by Oleksandr Paraska (eyeo) - 11 min
- Speaker
- Oleksandr Paraska (eyeo)
- eyeo GmbH是Adblock plus的公司
- Abstract
- eyeo GmbH 最近已将tensorflow.js部署到其产品中，以提供更好的广告拦截功能，并确定了WebNN草案涵盖的漏洞，例如使用DOM作为图卷积网络所需的输入数据或图元。演讲将介绍相关的用例，并说明如何通过新标准更好地支持它。
探索无监督图像分割结果 by Piotr Migdal & Bartłomiej Olechno - 6 min
- Speaker
- Piotr Migdal & Bartłomiej Olechno
- Abstract
- 本演讲将以基于Web的工具交互式地探索机器学习模型为例，并以基于D3.js的交互式可视化为例，展示无监督图像分割的结果。
移动端优先的基于Web的机器学习 by Josh Meyer & Lindy Rauchenstein (Artie) - 11 min
- Speaker
- Josh Meyer & Lindy Rauchenstein (Artie)
- 就职于Artie，Inc. Mozilla机器学习研究员，Artie首席科学家
- Abstract
- 本演讲概述了Artie的一些机器学习技术堆栈，这些堆栈是基于Web的并且首先移动。它将讨论在浏览器中运行应用程序时使用来自用户电话的语音，文本和图像的特殊性，还将讨论有关在隐私，延迟和性能之间平衡用户首选项的讨论。
Web 上的机器学习体验：用户的视角
目标：面向所有人的Web端机器学习：教育、学习、无障碍、跨行业体验、跨学科机器学习：音乐、艺术和媒体满足机器学习；跨行业分享学习经验和最佳实践
我们的期望：公平对待，残障人士和机器学习 by Jutta Treviranus (OCAD University) - 13 min
- Speaker
- Jutta Treviranus (OCAD University)
- OCAD大学包容性设计研究中心主任兼教授
- Abstract
AI偏见的风险最近在公共场合受到关注。随着越来越多的关键决策和功能被移交给机器学习系统，关于自动化和扩大现有歧视和不平等现象的无数故事不断涌现。解决非代表性数据并防止将人为偏见引入机器学习算法的趋势正在不断发展。
但是，这些努力并未解决数据驱动决策的基本特征，如果您有残疾，该决策会带来重大风险。即使有完整的比例表示，甚至从AI系统中消除了所有的人为偏见，这些系统也会偏爱多数和主导模式。这对离群，少数族裔或高度异类的个人和群体产生了影响。残疾的唯一共同特征是与平均值之间的差异足够大，以至于大多数系统不匹配并构成障碍。机器学习需要大量数据集。许多残疾人代表一个数据集。基于人口数据的决策将针对少数族裔和多数族裔。与一般人相比，您越远，训练机器学习系统来满足您的需求就越困难。更糟的是，如果您是一个离群人并且非常独特，则隐私保护将对您不起作用，并且您最容易受到数据滥用和滥用的伤害。
本演讲将：
- 概述机器学习系统带来的风险和机遇；
- 制定降低风险的策略；
- 讨论支持不歧视局外人和少数族裔的决策所需的步骤。
还将讨论创新带来的好处和整个社会的福祉。
人工智能（机器学习）：偏见和无用输入，偏见和无用输出 by John Rochford (University of Massachusetts Medical School) - 10 min
- Speaker
- John Rochford (University of Massachusetts Medical School)
- 马萨诸塞大学医学院Eunice Kennedy Shriver中心INDEX项目主任
- Abstract
有偏见的训练数据会产生不可信，不公平，无用的结果。这样的结果包括：
- 预测黑人囚犯最有可能再犯；
- 通过自动驾驶汽车机器学习模型杀死人行横道上的轮椅使用者。
训练数据必须包括残疾人，所有种族，所有种族，所有性别等的代表。训练数据的创建必须包括这些人群。有开源和商业工具包和API可以帮助缓解偏差。
John是该领域的专家，专注于为残疾人提供AI公平和赋权，并且是Web机器学习社区组的成员。
认知无障碍和机器学习 by Lisa Seeman, Joshue O’Connor - 13 min
- Speaker
- Lisa Seeman, Joshue O’Connor
交互式机器学习 - Web上支持音乐的应用程序 by Tero Parviainen (Counterpoint) - 10 min
- Speaker
- Tero Parviainen (Counterpoint)
- Tero Parviainen是音乐，媒体和艺术领域的软件开发人员。作为创意技术工作室Counterpoint的共同创始人，他最近为巴比肯中心，萨默塞特宫，赫尔辛基艺术节，达拉斯艺术博物馆以及网络的各个角落建造了装置。他还为Wavepaths做出了贡献，建立了迷幻疗法的音乐生成系统。
- Abstract
- 该演讲将介绍Counterpoint在过去几年中使用TensorFlow.js和Magenta.js构建的一些项目。从实验性乐器到交互式艺术品，它们确实扩展了在浏览器上下文中可以完成的工作。它将着重于音乐和音频应用程序中需要考虑的特殊注意事项，ML模型与Web Audio之间的关系以及将两者结合时遇到的限制。
打破浏览器中的美好海滩:让浏览器识别语音 by Kelly Davis (Mozilla) - 6 min
- Speaker
- Kelly Davis (Mozilla)
- Mozilla机器学习小组的经理。凯利在 Mozilla包括通用的Deep Speech（开放语音识别系统）语音（Mozilla的语音工具（用于创建公开语料库的众包工具）TTS（开源语音合成系统），Snakepit（开源ML作业调度程序），以及ML研究和许多其他项目。
- Abstract
- 在狭窄域中，基于ML的语音识别系统具有最近开始接近人类的表现水平。然而，基于浏览器的此类系统支持不完善或缺乏。该演讲将与业界正在进行的将基于ML的语音识别引入浏览器的工作有关。它将涵盖广泛的主题：努力使基于浏览器的API标准化，此类API暴露出的隐私问题，将基于ML的系统嵌入（或不嵌入）到浏览器中的技术细节以及许多其他主题。
Firefox中强调隐私的机器翻译 by Nikolay Bogoychev (爱丁堡大学) - 6 min
- Speaker
- Nikolay Bogoychev (爱丁堡大学)
- 爱丁堡大学博士后研究员
- Abstract
- 近年来，机器翻译已被最终用户广泛采用，这使得外语在线内容比以往任何时候都更易于访问。但是，机器翻译一直被视为计算量大的问题，因此通常会通过在线服务（例如Google Translate）交付给最终用户，这可能不适用于敏感内容。我们提供了一个注重隐私的机器翻译系统，该系统在用户的机器上本地运行，并且可以通过Firefox浏览器扩展程序进行访问。所使用的翻译模型仅为16MB，翻译速度足够高，即使在2012年以后的笔记本电脑上也能获得无缝的用户体验。
AI-Powered Per-Scene Live Encoding by Anita Chen (Fraunhofer FOKUS) - 9 min
- Speaker
- Anita Chen (Fraunhofer FOKUS)
- Project Manager at Fraunhofer FOKUS
- Abstract
- This presentation will provide an overview of utilizing machine learning methods in automating per-title encoding for Video on Demand (VoD) and live streaming in order to improve the viewing experience. It will also address the behaviors of various regression models that can predict encoding ladders in a browser in real-time, including a future outlook in terms of optimization.
通过机器学习增强具有表情的虚拟角色网络会议功能 by Zelun Chen (网易) - 8 min
- Speaker
- Zelun Chen (网易)
- 网易前端开发工程师
- Abstract
- 本讲座将涵盖使用机器学习来增强参与者在虚拟角色网络会议中的表达，并重点介绍在浏览器中使用网络装配来运行AI模型的问题。
RNNoise，神经语音增强和浏览器 by Jean-Marc Valin - 7 min
- Speaker
- Jean-Marc Valin
- Jean-Marc Valin 以前曾为Opus和AV1编解码器做出过贡献。他受雇于亚马逊，但这次以个人身分进行演讲。
- Abstract
- 本演讲介绍了RNNoise，这是一种小型且快速的实时结合经典信号处理的噪声抑制算法深度学习。我们将讨论算法以及浏览器如何可以进行改进以提高RNNoise和其他神经语音增强算法的效率。
使音乐家和艺术家能够使用机器学习在浏览器中构建自己的工具 by Louis McCallum (伦敦大学) - 7 min
- Speaker
- Louis McCallum (伦敦大学)
- Louis 是一位经验丰富的软件开发人员，研究员，艺术家和音乐家。目前，他在伦敦大学金史密斯学院的Embemoed AudioVisual Interaction Group担任博士后职位，同时还是副讲师。他还是MIMIC 平台及相关工具的首席开发人员。Learner.js 和 MaxiInstrument.js库
- Abstract
在过去的两年中，作为RCUK AHRC资助的 MIMIC项目的一部分，我们为音乐家和艺术家提供了使用，表演和协作的平台和库在线使用机器学习。尽管为这些社区提供了很多服务，但他们的技能和要求通常与更传统的机器学习用例有所不同。例如，在浏览器中动态提供数据和进行实时培训的要求对性能，连接性和存储提出了挑战。我们力图解决连接各种来源的输入，运行潜在的计算昂贵的特征提取器以及轻量级的机器学习模型并实时生成音频和视频输出而不会产生干扰的非凡挑战。尽管AudioWorklets之类的技术在某种程度上解决了这一问题，但是在实现，文档和采用方面仍然存在问题（目前仅限于Chrome）。例如，垃圾收集（由工作线程消息系统创建）的问题对使用AudioWorklets的许多开发人员造成了广泛的破坏，只有 ringbuffer解决方案解决了该问题，开发人员必须在核心API之外进行集成。我们也渴望确保 WebGPU API 在引入实时媒体时予以考虑。我们的演讲将涵盖我们以用户为中心的研究未发现的用户观点以及开发人员在创意和教育环境中满足这些用户需求所面临的技术挑战的开发者观点。