电子发烧友网

电脑版
提示:原网页已由神马搜索转码, 内容由www.elecfans.com提供.
会员中心
创作中心
发布

1024 CSDN 程序员节-基于存内计算WTM2101芯片开发板验证语音识别

存内计算开发者来源:jf_13681693 作者:jf_13681693 2024-05-20 16:01474次阅读

前言
在今年的 CSDN 程序员节上,我参与了这次知存科技举办的一个 AIWorkshop 小活动——“基于存内计算芯片开发板验证语音识别”,并且有幸成为完成任务的学习者之一XD。上一次参与类似的活动是算能公司举办的“千校万里行”AIGC 大模型编译部署活动,感觉虽然只是简单的烧录现成代码,经历这几次活动后 AI 小白也能有一个小小的成就感。趁着这股新鲜感还没冷却,我打算写一篇博文来记录下这次活动的一些经历,也供后续参与的童鞋参考~

任务目标
AISHELL-WakeUp-1 数据集是中英文唤醒词语音数据库,命令词为“你好,米雅” “hi, mia” ,语音数据库中唤醒词语音 3936003 条,1561.12 小时,邀请 254 名发言人参与录制。录制过程在真实家居环境中,设置 7 个录音位,使用 6 个圆形 16 路 PDM 麦克风阵列录音板做远讲拾音(16kHz,16bit)、1 个高保真麦克风做近讲拾音(44.1kHz, 16bit)。此数据库可用于声纹识别、语音唤醒识别等研究使用。

本 demo 以该数据集为例,用不同网络结构展示模型训练及移植过程。

我们最终想要通过语音“你好,米雅”唤醒开发板。具体步骤如下:

训练得到模型,并转换为知存科技开发板相应格式模型。
工具链编译模型,得到模型权重表。
烧写模型权重。
烧写代码。
成功运行后,当我们对着开发板说出“你好,米雅”时,开发板就会通过串口发送“已唤醒”的信息
开发板信息如下:

WTMDK2101-X3 是针对 WTM2101 AI SOC 设计的评估板,包含:

(1) WTM2101 核心板,即我们的存算芯片。

(2) 和 I/O 板:WTM2101 运行需要的电源、以及应用 I/O 接口等.

wKgaomZLAIeADstTAAnCSgvfliY445.png

任务步骤
首先,本机上下载训练数据和训练代码并运行。这样我们就得到要烧录到知存开发板上的对应格式的模型。

wKgZomZLAKWAQLzIAAL9i-sFGuU910.png


​ 这一步结束后,我们可以得到以下模型+运行代码:

wKgZomZLAL6AHzBKAABcLJ7JePE230.png

将代码放入 docker 工具链环境中,编译运行,得到输出的模型权重表:

wKgaomZLAOaAV2EsAAuK2MElh3k227.png
wKgaomZLAR-ABrT2AAKjnvU9_RY754.png

开发板连接好跳线帽、数据线如下图:

wKgZomZLAS2AbLYbABDb6D6bF54777.png
wKgZomZLAZGAPTxKAAXDziuAHWU192.png

通过烧写工具 WitinProgramTool 将模型权重烧录到开发板上:

wKgZomZLAiWAP3XmAAIUbpIIiA8862.png

通过知存 IDE Witmem Studio,烧录提供好的工程代码。

wKgaomZLAjGAHif_AANCn_JUoT8550.png
wKgaomZLAkSAFOmiAAECXwrGCmY310.png

打开串口调试助手(波特率115200,数据位8,停止位1,无校验位)。若成功运行,此时当我们对着开发板说出“你好,米雅”或 “Hi, Mia” 时,串口便会输出“已唤醒” 的提示信息。

wKgaomZLAliAF01gAAhshnqBoeU337.png

总结
对我个人而言,我接触 AI 非常少,只在前后端、嵌入式领域有过一些涉猎。因此,这次活动虽然在 AI 领域前辈来看可能是比较轻松的一个小任务,不过这份成就感让我很满足,我也大致能理解各个流程的作用。

wKgaomZLAlyAIXQOABdMx-YaiXk149.png

从今年5月的 ST 峰会上大力推广的边缘AI,7月 RV 峰会上百家争鸣的 AI 应用,这两次算能和知存科技的 AI 硬件体验活动,我逐渐也能感觉到 AI (特别是当下的 AIGC)对嵌入式领域同样不容小觑的影响。现阶段自己的学习还停留在一些简单的控制,RTOS这些。也许加深一些学习后,未来也可能在嵌入式深度学习领域有所学习~

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
  • 数据库
  • 语音识别
  • 开发板
  • 存内计算
0人收藏

    评论

    发布评论请先 登录

    相关推荐

    【基于存内计算芯片开发板验证语音识别】训练手册

    本教程展现语音识别算法在WTM2101开发板上从训练到部署的全流程,包括实验环境搭建,语音数据集以及算法模型转换烧录。
    05-16 14:49 404次阅读

    从MRAM的演进看存内计算的发展

    。 (4)采用极小封装尺寸。 基于以上优势特点, WTM2101可应用于智能可穿戴设备、智能家居、安防监控、玩具机器人等;适应多种应用,如语音识别语音降噪/增强、轻量级
    05-17 14:25 530次阅读

    计算WTM2101编译工具链 资料

    调度到CPU上运算,实现整网的调度,让神经网络开发人员高效快捷的将训练好的算法运行在WTM2101芯片上,极大缩短模型移植的开发周期并提高算法开发
    05-16 16:33

    科技助力AI应用落地:WTMDK2101-ZT1评估板实地评测与性能揭秘

    的挑战。通过对知科技WTM2101量产芯片的深入解析与评测,重点展示计算
    05-16 16:38

    嵌入式单片机程序员1024狂欢该怎么样过才有滋味

    对于很多人来说,双11是购物狂欢;但对于另一部分人来说,1024才是他们的狂欢;因为每年的1024是属于程序员的节日!
    10-22 16:39

    【 平头哥CB5654语音开发板试用连载】BMS语音播报提示功能

    项目名称:BMS语音播报提示功能试用计划:1、作为BMS程序员,以前从未使用过国产的32位芯片,之前已听说了阿里系的平头哥半导体公司制出了完全国产的芯片,这次有机会当然要争取试用机会啦
    02-25 16:07

    #1024程序员#话题讨论:不会填坑的程序员不是一个好程序员

    具备的核心技能之一。不知不觉又是一年1024程序员,回想你当程序员的这些年都填过哪些坑?活动规则:参与回帖讨论即可获得5积分奖励,优秀回帖可获得15积分+小红包奖励活动时间:2020
    10-23 14:51

    2020年“1024”,程序员日 精选资料分享

    1024程序员日向可爱的程序员致敬随着时代的发展,大数据技术行业发展愈趋成熟,坚持自己对知识、技术和创新追求的程序员层出不穷。相信很多人都不知道,其实,
    07-21 06:40

    1024程序员,最实用的福利——资料大礼包+VIP不限量大派送!

    1024论坛里,它是隐晦的暗号字语间,它是身份的象征1024是2的十次方,二进制计数的基本计量单位之一,是程序员们最熟知不过的数字。而1024M就是1GB,1GB又暗含着“一级棒”的谐
    10-19 15:44

    1024平头哥开发套件开发体验】 语音识别开发板的比较

    。对于CB5654开发板,它的产品似乎并不是提供语音识别的功能,需要自行更新工具及应用程序。此外在软件的实验方面,也不是很方便,好像对软件的版本匹配要求比较高,不匹配就无法实现工具的下
    12-13 00:13

    [CB5654智能语音开发板测评] 语音识别开发板的比较

    。对于CB5654开发板,它的产品似乎并不是提供语音识别的功能,需要自行更新工具及应用程序。此外在软件的实验方面,也不是很方便,好像对软件的版本匹配要求比较高,不匹配就无法实现工具的下
    03-09 08:11

    知存科技WTM2101语音芯片的具备四个优势

    WTM2101在运行这类高算力AI算法时,可将功耗降低到微安级别,让仅有数十毫安电池的可穿戴设备同样能够拥有语音唤醒和识别能力。
    04-23 15:15 730次阅读

    创新成果受肯定,WTM2101芯片亮相中关村论坛多个展区

    5月30日,为期5天的中关村论坛展览(科博会)在北京圆满闭幕。 知存科技作为存算一体领域代表企业携WTM2101芯片在人工智能展区和中关村科学城展区同步展出,为观众展示先进计算产业的最新成果
    06-07 22:05 566次阅读

    1024程序员节特别篇 | 知存科技xCSDN北京·杭州双城嘉年华精彩回顾

    10月21日,知存科技X CSDN北京·杭州双城嘉年华活动圆满开展,吸引了近百位AI技术爱好者来到活动现场,了解商用存内计算架构芯片的生态进展和技术经验,深度体验如何基于存内计算
    10-24 10:50 361次阅读

    喜迎1024程序员节!祝各位开发者们“码”到“程”功!

    祝各位开发者们,节日快乐! 程序员(Programmer)是从事程序开发、维护的专业人员。 对于奋斗在一线的程序员们来说, 10月24日 是
    10-24 20:00 449次阅读

    推荐专栏

    更多