W3C Web 和机器学习研讨会

🌱 由预录报告及一系列线上交流组成的在线技术研讨会

研讨会委员会确定了以下演讲者和演讲,作为2020年9月的现场讨论的话题。

本次机器学习研讨会线上讨论环节将会为参会者提供中文和英文的同声传译,我们将聘请专业的传译员为大家提供同声传译服务,同声传译使用方式请参考机器学习研讨会同声传译工具

基于浏览器的机器学习的机遇和挑战

目标:确定基于浏览器的机器的机会是什么,被采用的障碍是什么

Watch 隐私优先的机器学习方法隐私优先的机器学习方法 by Philip Laszkowicz - 11 min

11 minutes presentation

Speaker
Philip Laszkowicz
Abstract
这次演讲将讨论开发人员应该如何构建现代web应用程序,以及现有的生态系统中哪些缺失使得隐私优先的机器学习成为可能,包括WASI、模块化web架构和本地化分析所面临的挑战。
Watch 机器学习和 Web 媒体机器学习和 Web 媒体 by Bernard Aboba (微软) - 7 min

7 minutes presentation

Speaker
Bernard Aboba (微软)
Abstract
演讲将讨论机器学习中对原始视频的有效处理,强调最小化内存拷贝和与WebGPU集成的必要性。
Watch TensorFlow.js 及以后的机遇与挑战TensorFlow.js 及以后的机遇与挑战 by Jason Mayes (谷歌) - 10 min

10 minutes presentation

Speaker
Jason Mayes (谷歌)
TensorFlow.js 的开发者
Abstract
这次演讲将简要介绍TensorFlow.js,它如何帮助开发人员构建基于机器学习的应用程序,以及一些推动web边界的例子,并讨论了web技术堆栈的未来方向,以帮助克服web中使用机器学习的障碍,这是TF.js社区遇到的。
Watch Web 架构中的机器学习 Web 架构中的机器学习 by Sangwhan Moon - 4 min

4 minutes presentation

Speaker
Sangwhan Moon
Watch Extending W3C ML Work to Embedded SystemsExtending W3C ML Work to Embedded Systems by Peter Hoddie (Moddable Tech) - 6 min

6 minutes presentation

Speaker
Peter Hoddie (Moddable Tech)

Peter is the chair of Ecma TC53, ECMAScript Module for Embedded Systems, working to bring standard JavaScript APIs to IoT.

He is a delegate to Ecma TC39, the JavaScript language standards committee, where his focus is ensuring JavaScript remains a viable language on resource constrained devices.

He is a co-founder and CEO of Moddable Tech, building XS, the only modern JavaScript engine for embedded systems, and the Moddable SDK, a JavaScript framework for delivering consumer and industrial IoT products.

Peter is the co-author of “IoT Development for ESP32 and ESP8266 with JavaScript”, published in 2020 by Apress, the professional books imprint of Springer Nature.

He contributed to the ISO MPEG-4 file format standard.

Additional bio information

Abstract

JavaScript's dominance on the web often obscures its many successes beyond the web, such as in embedded systems. New silicon for embedded systems is beginning to include hardware to accelerate ML, bringing ML to edge devices. These embedded systems are capable of running the same modern JavaScript used on the web. Would it be possible for the embedded systems to be coded in JavaScript in a way that is compatible with the ML APIs of the web?

This talk will briefly present two examples of JavaScript APIs developed for the web to support hardware features -- the W3C Sensor API and the Chrome Serial API. It will describe how each has been bridged to the embedded world in a different way -- perhaps suggesting a model for how W3C ML JavaScript APIs can bridge the embedded and browser worlds as well.

机器学习的 Web 平台基础

目标:理解机器学习如何适应 Web 技术栈

10 minutes presentation

Speaker
Dominique Hazaël-Massieux (W3C)
Dominique 是W3C的全职技术人员之一,负责推动Web标准化工作。他特别负责WebRTC、WebXR和Web & Networks的工作,领导创建了一个WebTransport工作组,也是Web和机器学习研讨会的组织者之一。
Abstract
介绍了Web浏览器作为开发平台的特点的背景。
Watch Web 的媒体处理挂钩Web 的媒体处理挂钩 by François Daoust (W3C) - 12 min

12 minutes presentation

Speaker
François Daoust (W3C)
Francois是W3C的全职技术人员之一,负责管理与媒体技术相关的工作。
Abstract
这次演讲将概述在Web应用程序中实时处理混合和解调媒体(音频和视频)以及呈现结果的现有的、计划的或可能的hook。它还将提出高效媒体处理的高级要求。

10 minutes presentation

Speaker
Ningxin Hu (英特尔)
Ningxin是英特尔公司的软件工程师。Ningxin是Web社区团体中W3C机器学习的Web神经网络(WebNN) API规范的共同编辑人。
Abstract
WebNN API是一个新的web标准提案,它允许web应用程序和框架通过专用的设备硬件(如gpu、带深度学习扩展的cpu或专门构建的AI加速器)来加速深度神经网络。我们将使用WebNN API的原型,通过访问手机和PC上的AI加速器来演示深度神经网络执行目标检测的接近本地速度。

10 minutes presentation

Speaker
Jonathan Bingham (谷歌)
Jonathan是Google的web端产品经理.
Abstract
Model Loader API是一个web标准的新提案,它利用可用的硬件加速,使从JavaScript加载和运行ML模型变得容易。API表面类似于现有的模型服务API(如TensorFlow服务、TensorRT和MXNet模型服务器),它是对Web NN graph API提议以及较低级别的WebGL和WebGPU API的补充.
Watch SIMD运行在WebGPU的机器学习SIMD运行在WebGPU的机器学习 by Mehmet Oguz Derin - 5 min

5 minutes presentation

Speaker
Mehmet Oguz Derin
Watch 机器学习的加速图形和计算API - DirectML机器学习的加速图形和计算API - DirectML by Chai Chaoweeraprasit (微软) - 10 min

10 minutes presentation

Speaker
Chai Chaoweeraprasit (微软)
Chai领导了微软机器学习平台的开发
Abstract
DirectML是微软的硬件加速机器学习平台,支持TensorFlow和ONNX运行时等流行框架。它通过在任何设备上使用支持directx的GPU进行高性能训练和推断,扩展了框架的硬件空间

7 minutes presentation

Speaker
Miao Wang (谷歌)
Android Neural Networks API 工程师
Abstract
Android神经​​网络API(NNAPI)是一个Android C API,旨在在Android设备上运行用于计算机学习的计算密集型操作。 NNAPI旨在为构建和训练神经网络的高级机器学习框架(例如TensorFlow Lite和Caffe2)提供功能的基础层。该API在运行Android 8.1(API级别27)或更高版本的所有Android设备上均可用。基于应用程序的需求和Android设备上的硬件功能,NNAPI可以在可用的设备上处理器(包括专用的神经网络硬件(NPU和TPU),图形处理单元(GPU)和数字信号处理器)上有效地分配计算工作负载(DSP)。

12 minutes presentation

Speaker
Jeff Hammond (英特尔)
Jeff Hammond是英特尔公司的首席工程师,在那里他研究广泛的高性能计算主题,包括并行编程模型、系统架构和开源软件。他在并行计算、计算化学和线性代数软件方面发表了60多篇期刊和会议论文。并在芝加哥大学获得物理化学博士学位。
Abstract
计算机体系结构的多样性和数据密集型工作负载中对应用程序性能的不断需求,对程序员来说是永无止境的挑战。这次演讲将描述英特尔的oneAPI计划,这是一个开放的、支持高性能数据分析、机器学习和其他工作负载的异构计算生态系统。其中一个关键组件是数据并行c++,它基于c++ 17和Khronos SYCL,支持CPU、GPU和FPGA平台的直接编程。我们将描述如何使用oneAPI和Data Parallel c++为一系列设备构建高性能应用程序。
Watch 为基于云,边缘和终端设备的移动Web启用分布式DNN为基于云,边缘和终端设备的移动Web启用分布式DNN by Yakun Huang & Xiuquan Qiao (北京邮电大学) - 9 min

9 minutes presentation

Speaker
Yakun Huang & Xiuquan Qiao (北京邮电大学)
Abstract
本演讲介绍了针对云,边缘和终端设备上的移动网络的两种深度学习技术。一种是自适应DNN执行方案,该方案可以分割并执行可在移动Web内完成的计算,从而减少了边缘云的计算压力。另一个是在云,边缘和设备上的轻型协作DNN,它提供了与边缘云的协作机制以进行准确补偿。
Watch 协同学习协同学习 by Wolfgang Maß (DFKI) - 10 min

10 minutes presentation

Speaker
Wolfgang Maß (DFKI)
Saarland大学教授,DFKI科学总监
Abstract
最近在设备上的浏览器中执行数据分析服务的势头强劲,但是设备上缺乏计算资源和数据保护法规正迫使人们施加严格的约束。在我们的演讲中,我们将提出一种基于浏览器的协作学习方法,用于在设备的对等网络上运行数据分析服务。我们的平台使用Javascript开发,支持服务模块化,设备上的模型训练和使用(tensorflow.js),传感器通信(mqtt)以及具有基于角色的访问控制(oauth 2.0)的对等通信(WebRTC)。
Watch WASI-NN 介绍WASI-NN 介绍 by Mingqiu Sun & Andrew Brown (英特尔) - 7 min

7 minutes presentation

Speaker
Mingqiu Sun & Andrew Brown (英特尔)
英特尔高级PE & 英特尔软件工程师
Abstract
训练有素的机器学习模型通常部署在具有不同体系结构和操作系统的各种设备上。 WebAssembly为这些模型提供了理想的便携式部署形式。在本次演讲中,我们将介绍我们在WebAssembly系统接口(WASI)社区中启动的WASI-NN计划,该计划将标准化WebAssembly程序的神经网络系统接口。

Web 上的机器学习体验:开发者的视角

目标:在Web上编写机器学习的经验;在Web上重用现有机器学习模型的挑战和机遇;设备端模型学习,已知技术解决方案,差距

8 minutes presentation

Speaker
Ann Yuan (谷歌)
TensorFlow.js的软件工程师
Abstract
本演讲将介绍TensorFlow.js如何利用Web技术(例如用于GPU加速的WebGL,Web汇编和技术设计注意事项)在浏览器中启用机器学习。

14 minutes presentation

Speaker
Emma Ning (微软)
Emma Ning 是Microsoft Cloud + AI Group旗下AI Framework团队的高级产品经理,致力于通过开放式和可互操作AI的ONNX / ONNX Runtime进行AI模型的操作和加速。她在机器学习技术方面拥有超过五年的搜索引擎产品经验,并且在探索各种业务中采用AI方面花费了超过三年的时间。她热衷于提供AI解决方案来解决业务问题并增强产品体验。
Abstract
ONNX.js是一个Javascript库,用于在CPU和GPU上的浏览器和Node.js上运行ONNX模型。得益于ONNX的互操作性,它还与Tensorflow和Pytroch兼容。为了在CPU上运行,ONNX.js采用WebAssembly来以接近本机的速度执行模型,并利用Web Workers提供“多线程”环境,从而获得非常可观的性能提升。为了在GPU上运行,ONNX.js利用WebGL的优势,WebGL是访问GPU功能的流行标准。通过减少CPU和GPU之间的数据传输以及GPU处理周期,ONNX.js进一步提高了性能。
Watch Paddle.js - Web 机器学习Paddle.js - Web 机器学习 by Ping Wu (百度) - 5 min

5 minutes presentation

Speaker
Ping Wu (百度)
百度架构师,Paddle.js负责人
Abstract
Paddle.js是适用于各种Web运行时的高性能JavaScript DL框架,它有助于通过Web社区构建PaddlePaddle生态系统。本演讲将介绍Paddle.js的设计原理,实现,使用场景以及该项目想要探索的未来工作。
Watch ml5.js: Friendly Machine Learning for the Webml5.js: Friendly Machine Learning for the Web by Yining Shi (纽约大学) - 8 min

8 minutes presentation

Speaker
Yining Shi (纽约大学)
ml5.js贡献者和交互电信项目(ITP)的兼职教授
Watch Pipcook, a front-end oriented DL frameworkPipcook, a front-end oriented DL framework by Wenhe Eric Li (Alibaba) - 10 min

10 minutes presentation

Speaker
Wenhe Eric Li (Alibaba)
ML/DL on web, contributor of ML5 & tfjs, memebr of pipcook, SDE @ Alibaba
Abstract
We are going to present a front-end oriented platform based on TensorFlow.js. We will cover what is pipcook, the design philosophy, as well as some examples & use cases in our internal community. Apart from that, we will show a brandy new solution to bridge the flourish python DL/ML environment and javascript runtime in both browsers and nodejs.
Watch Web上的机器学习,用于内容过滤应用程序Web上的机器学习,用于内容过滤应用程序 by Oleksandr Paraska (eyeo) - 11 min

11 minutes presentation

Speaker
Oleksandr Paraska (eyeo)
eyeo GmbH是Adblock plus的公司
Abstract
eyeo GmbH 最近已将tensorflow.js部署到其产品中,以提供更好的广告拦截功能,并确定了WebNN草案涵盖的漏洞,例如使用DOM作为图卷积网络所需的输入数据或图元。演讲将介绍相关的用例,并说明如何通过新标准更好地支持它。
Watch 探索无监督图像分割结果探索无监督图像分割结果 by Piotr Migdal & Bartłomiej Olechno - 6 min

6 minutes presentation

Speaker
Piotr Migdal & Bartłomiej Olechno
Abstract
本演讲将以基于Web的工具交互式地探索机器学习模型为例,并以基于D3.js的交互式可视化为例,展示无监督图像分割的结果。
Watch 移动端优先的基于Web的机器学习移动端优先的基于Web的机器学习 by Josh Meyer & Lindy Rauchenstein (Artie) - 11 min

11 minutes presentation

Speaker
Josh Meyer & Lindy Rauchenstein (Artie)
就职于Artie,Inc. Mozilla机器学习研究员,Artie首席科学家
Abstract
本演讲概述了Artie的一些机器学习技术堆栈,这些堆栈是基于Web的并且首先移动。它将讨论在浏览器中运行应用程序时使用来自用户电话的语音,文本和图像的特殊性,还将讨论有关在隐私,延迟和性能之间平衡用户首选项的讨论。

Web 上的机器学习体验:用户的视角

目标:面向所有人的Web端机器学习:教育、学习、无障碍、跨行业体验、跨学科机器学习:音乐、艺术和媒体满足机器学习;跨行业分享学习经验和最佳实践

Watch 我们的期望:公平对待,残障人士和机器学习我们的期望:公平对待,残障人士和机器学习 by Jutta Treviranus (OCAD University) - 13 min

13 minutes presentation

Speaker
Jutta Treviranus (OCAD University)
OCAD大学包容性设计研究中心主任兼教授
Abstract

AI偏见的风险最近在公共场合受到关注。随着越来越多的关键决策和功能被移交给机器学习系统,关于自动化和扩大现有歧视和不平等现象的无数故事不断涌现。解决非代表性数据并防止将人为偏见引入机器学习算法的趋势正在不断发展。

但是,这些努力并未解决数据驱动决策的基本特征,如果您有残疾,该决策会带来重大风险。即使有完整的比例表示,甚至从AI系统中消除了所有的人为偏见,这些系统也会偏爱多数和主导模式。这对离群,少数族裔或高度异类的个人和群体产生了影响。残疾的唯一共同特征是与平均值之间的差异足够大,以至于大多数系统不匹配并构成障碍。机器学习需要大量数据集。许多残疾人代表一个数据集。基于人口数据的决策将针对少数族裔和多数族裔。与一般人相比,您越远,训练机器学习系统来满足您的需求就越困难。更糟的是,如果您是一个离群人并且非常独特,则隐私保护将对您不起作用,并且您最容易受到数据滥用和滥用的伤害。

本演讲将:

  • 概述机器学习系统带来的风险和机遇;
  • 制定降低风险的策略;
  • 讨论支持不歧视局外人和少数族裔的决策所需的步骤。

还将讨论创新带来的好处和整个社会的福祉。

Watch 人工智能(机器学习):偏见和无用输入,偏见和无用输出人工智能(机器学习):偏见和无用输入,偏见和无用输出 by John Rochford (University of Massachusetts Medical School) - 10 min

10 minutes presentation

Speaker
John Rochford (University of Massachusetts Medical School)
马萨诸塞大学医学院Eunice Kennedy Shriver中心INDEX项目主任
Abstract

有偏见的训练数据会产生不可信,不公平,无用的结果。这样的结果包括:

  • 预测黑人囚犯最有可能再犯;
  • 通过自动驾驶汽车机器学习模型杀死人行横道上的轮椅使用者。

训练数据必须包括残疾人,所有种族,所有种族,所有性别等的代表。训练数据的创建必须包括这些人群。有开源和商业工具包和API可以帮助缓解偏差。

John是该领域的专家,专注于为残疾人提供AI公平和赋权,并且是Web机器学习社区组的成员。

Watch 认知无障碍和机器学习认知无障碍和机器学习 by Lisa Seeman, Joshue O’Connor - 13 min

13 minutes presentation

Speaker
Lisa Seeman, Joshue O’Connor
Watch 交互式机器学习 - Web上支持音乐的应用程序交互式机器学习 - Web上支持音乐的应用程序 by Tero Parviainen (Counterpoint) - 10 min

10 minutes presentation

Speaker
Tero Parviainen (Counterpoint)
Tero Parviainen是音乐,媒体和艺术领域的软件开发人员。作为创意技术工作室Counterpoint的共同创始人,他最近为巴比肯中心,萨默塞特宫,赫尔辛基艺术节,达拉斯艺术博物馆以及网络的各个角落建造了装置。他还为Wavepaths做出了贡献,建立了迷幻疗法的音乐生成系统。
Abstract
该演讲将介绍Counterpoint在过去几年中使用TensorFlow.js和Magenta.js构建的一些项目。从实验性乐器到交互式艺术品,它们确实扩展了在浏览器上下文中可以完成的工作。它将着重于音乐和音频应用程序中需要考虑的特殊注意事项,ML模型与Web Audio之间的关系以及将两者结合时遇到的限制。

6 minutes presentation

Speaker
Kelly Davis (Mozilla)
Mozilla机器学习小组的经理。凯利在 Mozilla包括通用的Deep Speech(开放语音识别系统)语音(Mozilla的语音工具(用于创建公开语料库的众包工具)TTS(开源语音合成系统),Snakepit(开源ML作业调度程序),以及ML研究和许多其他项目。
Abstract
在狭窄域中,基于ML的语音识别系统具有最近开始接近人类的表现水平。然而,基于浏览器的此类系统支持不完善或缺乏。该演讲将与业界正在进行的将基于ML的语音识别引入浏览器的工作有关。它将涵盖广泛的主题:努力使基于浏览器的API标准化,此类API暴露出的隐私问题,将基于ML的系统嵌入(或不嵌入)到浏览器中的技术细节以及许多其他主题。
Watch Firefox中强调隐私的机器翻译Firefox中强调隐私的机器翻译 by Nikolay Bogoychev (爱丁堡大学) - 6 min

6 minutes presentation

Speaker
Nikolay Bogoychev (爱丁堡大学)
爱丁堡大学博士后研究员
Abstract
近年来,机器翻译已被最终用户广泛采用,这使得外语在线内容比以往任何时候都更易于访问。但是,机器翻译一直被视为计算量大的问题,因此通常会通过在线服务(例如Google Translate)交付给最终用户,这可能不适用于敏感内容。我们提供了一个注重隐私的机器翻译系统,该系统在用户的机器上本地运行,并且可以通过Firefox浏览器扩展程序进行访问。所使用的翻译模型仅为16MB,翻译速度足够高,即使在2012年以后的笔记本电脑上也能获得无缝的用户体验。
Watch AI-Powered Per-Scene Live Encoding AI-Powered Per-Scene Live Encoding by Anita Chen (Fraunhofer FOKUS) - 9 min

9 minutes presentation

Speaker
Anita Chen (Fraunhofer FOKUS)
Project Manager at Fraunhofer FOKUS
Abstract
This presentation will provide an overview of utilizing machine learning methods in automating per-title encoding for Video on Demand (VoD) and live streaming in order to improve the viewing experience. It will also address the behaviors of various regression models that can predict encoding ladders in a browser in real-time, including a future outlook in terms of optimization.

8 minutes presentation

Speaker
Zelun Chen (网易)
网易前端开发工程师
Abstract
本讲座将涵盖使用机器学习来增强参与者在虚拟角色网络会议中的表达,并重点介绍在浏览器中使用网络装配来运行AI模型的问题。
Watch RNNoise,神经语音增强和浏览器RNNoise,神经语音增强和浏览器 by Jean-Marc Valin - 7 min

7 minutes presentation

Speaker
Jean-Marc Valin
Jean-Marc Valin 以前曾为Opus和AV1编解码器做出过贡献。他受雇于亚马逊,但这次以个人身分进行演讲。
Abstract
本演讲介绍了RNNoise,这是一种小型且快速的实时结合经典信号处理的噪声抑制算法深度学习。我们将讨论算法以及浏览器如何可以进行改进以提高RNNoise和其他神经语音增强算法的效率。

7 minutes presentation

Speaker
Louis McCallum (伦敦大学)
Louis 是一位经验丰富的软件开发人员,研究员,艺术家和音乐家。目前,他在伦敦大学金史密斯学院的Embemoed AudioVisual Interaction Group担任博士后职位,同时还是副讲师。他还是MIMIC 平台及相关工具的首席开发人员。Learner.jsMaxiInstrument.js
Abstract

在过去的两年中,作为RCUK AHRC资助的 MIMIC项目的一部分,我们为音乐家和艺术家提供了使用,表演和协作的平台和库在线使用机器学习。尽管为这些社区提供了很多服务,但他们的技能和要求通常与更传统的机器学习用例有所不同。例如,在浏览器中动态提供数据和进行实时培训的要求对性能,连接性和存储提出了挑战。我们力图解决连接各种来源的输入,运行潜在的计算昂贵的特征提取器以及轻量级的机器学习模型并实时生成音频和视频输出而不会产生干扰的非凡挑战。尽管AudioWorklets之类的技术在某种程度上解决了这一问题,但是在实现,文档和采用方面仍然存在问题(目前仅限于Chrome)。例如,垃圾收集(由工作线程消息系统创建)的问题对使用AudioWorklets的许多开发人员造成了广泛的破坏,只有 ringbuffer解决方案解决了该问题,开发人员必须在核心API之外进行集成。我们也渴望确保 WebGPU API 在引入实时媒体时予以考虑。我们的演讲将涵盖我们以用户为中心的研究未发现的用户观点以及开发人员在创意和教育环境中满足这些用户需求所面临的技术挑战的开发者观点。