专为物联网而生的TinyML,正在开启音频分析的新蓝海【物女心经】

作者:彭昭(物联网智库创始人&云和资本合伙人)

物联网智库 原创

转载请注明来源和出处

导 读

TinyML微型机器学习是机器学习和物联网设备的交集,它是一门新兴的工程学科,有可能在许多行业引发革命。

全文字数:3000字,阅读时间:10分钟

物女皇:听庭前花开花落,看天上云卷云舒

你好,这是我在【物女心经】专栏写的第222篇文章。

在3月22到26日,TinyML基金会举办了2021 TinyML峰会,这是有史以来的第三届。

虽然本届峰会在云端举办,但同样声势浩大,而且无论是影响力还是参会者都可谓上了一个新台阶。诸多国际一线企业、业内独角兽初创公司和知名院校云集线上。

其中的代表性公司包括:ARM、高通、脸书、微软、三星、Greenwaves、SensiML、Silicon Labs、Syntiant、Qeexo、普林斯顿大学、密歇根大学、埃里克斯霍尔姆大学、麻省理工学院、斯坦福大学等。

在此前的文章中,我曾介绍过微型机器学习TinyML,也就是在终端和边缘侧的微处理器上实现的机器学习过程。更准确的说,TinyML是指工程师们在mW功率范围以下的设备上,实现机器学习的方法、工具和技术。

TinyML微型机器学习是机器学习和物联网设备的交集,它是一门新兴的工程学科,有可能在许多行业引发革命。

在这次峰会上,大家分享了TinyML的最新进展以及各种应用实例,值得关注的趋势包括:

  • 用户对于隐私的关注推动了TinyML的发展
  • 最新发布的TinyML产品和工具

01

保护隐私成为TinyML发展的推动力

消费者对于隐私问题的担忧,成为TinyML发展的推动力,很多公司为了响应消费者需求,正在开发功耗更低、响应速度更快、隐私保护更佳的设备。

人工智能与设备的结合,经历了三个发展阶段:

第1阶段--云端能

在人工智能发展的初期,机器学习模型是在云端训练和托管的。运行AI所需的强大计算能力使云成为理想的选择。

开发人员和数据科学家利用高端CPU和GPU训练模型,然后托管它们以进行推理。每个消耗AI的应用程序都与云对话。该应用程序将与微控制器通信以管理传感器和执行器。

第二阶段--边缘智能

随着物联网的发展,越来越多的遍布于工业自动化、智能医疗、智能联网汽车中的场景,都要求人工智能模型能在本地运行。边缘侧成为在本地托管人工智能模型的理想选择。边缘智能可以有效避免云中运行相同AI所带来的延迟。

但是鉴于边缘资源有限,AI模型的训练仍然需要云。这种方法提供了两全其美的优势,既有用于训练的云端强大计算环境,又能兼顾用于推理的低延迟边缘托管环境。但是由于与云端进行协作,边缘智能仍旧无法解决消费者对于隐私性的担忧。

阶段3--微型人工智能

分布最广的物联网设备往往体积很小、电量有限。它们被作为终端硬件,通过嵌入式传感器采集各种数据;计算能力有限,对功耗极为敏感。某些情况下,将这类设备连接到边缘侧以便实现智能,在成本上并不划算,

直接在微处理器中嵌入人工智能,成为消费和工业物联网场景的关键。这种方法并不依赖于外部程序,也不依赖边缘和云端。这种方案能够提供最佳的实时响应,同时对隐私提供极大保护。

TinyML峰会上提供的微型机器学习的例子包括,智能家居场景中,带有传感器洗衣机和冰箱可以在电机损坏之前主动发送信号。洗衣机可以根据衣服的重量,精准的调节水位。

具备TinyML的可穿戴设备,可以脱离云端持续监测用户的睡眠水平、心率体征等健康数据。TinyML胰岛素泵可以在不必时刻保持网络连接的情况下,根据血糖水平自动释放胰岛素。这些不必时刻联网的设备,让数据处于私有状态,更加安全并保护隐私。

02

TinyML开启音频分析的新蓝海

过去我们极大的发展了机器视觉,现在我们正在赋予机器听觉。

和视觉信息一样,声音无处不在。语音启动的设备,在智能家居的应用中非常常见,最典型的比如智能音箱。

还有很多声音,比如机床震动的声音、车辆抛锚的声音、报警器鸣响的声音…这些声音不同于语音,没有语言模型。

在TinyML峰会中,一家名为Audio Analytic的公司分享了关于音频分析的最新进展,并且认为TinyML即将开启音频分析的新蓝海。

他们已经建立了包含700种不同声音的配置文件,可以检测到从火车进站到婴儿啼哭,常见的和不常见的各种声音。

根据峰会中的分析,声音检测可能在4个场景取得大发展:

  • 第一个是安全场景 :比如根据玻璃破碎或者烟雾报警器的声音,通知更多人员。
  • 第二个是个人健康 :比如检测婴儿的哭声、打鼾的声音,并且及时提醒。根据烹饪时发出的声音,自动调节房间的空气质量。
  • 第三个是家庭娱乐 :比如根据外部环境和回声,根据房间大小,自动调整娱乐系统的音效。
  • 第四个是工业应用 :比如根据风力发电机振动的声音,检测叶片的裂纹并给予预警。

03

TinyML产品与工具陆续发布

Nordic Semiconductor在其nRF52和nRF53系列低功耗蓝牙芯片中引入了TinyML,并且提供相应的开发套件,成为业界首个支持人工智能技术的蓝牙产品。

Nordic将这些支持TinyML技术的蓝牙SoC应用于濒临灭绝的动物保护,野生大象佩戴了Nordic提供的蓝牙追踪项圈,帮助护林员防止非法狩猎盗取象牙的事件发生,取得了很好的效果。

SensiML联手Silicon Labs,为开发者快速研发支持TinyML的智能传感应用程序提供便利。

使用Silicon Labs提供的Thunderboard Sense 2物联网开发入门套件,配合使用SensiML提供的Analytics Toolkit AI/ ML开发软件,开发者能够快速创建运行于物联网终端设备的智能方案。

这些方案将特别适用于低功耗和能源敏感型应用,包括能源、水表和燃气表、楼宇自动化、警报及安防,和便携式医疗/健身器材。

在峰会上,Raspberry Pi联合创始人Eben Upton公布了“Pi Silicon”的未来路线,其内部专用集成电路ASIC团队正在进行下一次迭代,并且正专注于研发针对超低功耗机器学习TinyML应用程序的轻量级加速器。

同期,Eben Upton发布了三款“Pi Silicon”树莓派板,分别为SparkFun MicroMod RP2040、Arduino Nano RP2040 Connect和ArduCam Pico4ML。三款产品会将机器学习、摄像头、麦克风和屏幕集成到Pico软件包中。

----写在最后----

划个重点。

第一,TinyML将为数以亿计的物联网终端设备带来“生命”,它将引发的变革不容小觑。

第二,消费者对于隐私问题的担忧,成为TinyML发展的推动力,很多公司为了响应消费者需求,正在开发功耗更低、响应速度更快、隐私保护更佳的设备。

第三,目前越来越多的物联网企业正在将分析的重点从视频转移到音频,TinyML可能即将开启音频分析的新蓝海。

最后送上一份诚挚的邀请:

4月9日,2021中国(深圳)5G产业峰会将在深圳会展中心盛大开幕。届时,物联网智库将联合中电会展重磅发布全新展会品牌——中国智联网展览会(China AIoT EXPO)。

同期,为了配合全新展会品牌的发布,我们还将联合行业领军企业代表、行业专家,共同打造一场行业盛宴“2021中国(深圳)5G产业峰会”,致力于推进“5G+”与产业的融合创新,促进产业各界深入互动,打造行业生态交流的新平台。

诚邀你共同参与并见证。

活动时间:2021年4月9日下午13:30-17:30

活动地点:深圳会展中心·梅花厅

如果您无法亲临现场

届时扫码即可观看直播

参考资料:

Privacy and new functions will make TinyML big,作者:STACEY HIGGINBOTHAM,来源:staceyoniot.com

2021 TinyML峰会官网:www.tinyml.org/event/summit-2021

SensiML and Silicon Labs Partner to Enable Rapid Development of TinyML Applications,来源:finance.yahoo.com

TinyML is breathing life into billions of devices,作者:Adam Benzion,来源:thenextweb.com

Pico4ML Brings Machine Learning To the Raspberry Pi Pico,作者:Les Pounder,来源:tomshardware.com

重磅!工信部叫停50W以上无线

快充?膨胀的千亿级产业是该……

售价17999起,华为史上最强折叠

机皇Mate X2来了……

“渡劫”失败?2020年的智慧城市

有多惨

任正非宣布华为成立“煤炭军团”,

5G如何赋能千年古老行业?

重磅!传余承东将带队华为云

与计算BG,2月宣布……

IBM中国研究院全面关闭!网友

感慨:不996的公司都死了……返回搜狐,查看更多

阅读 ()
平台声明
该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。