NVIDIA Jetson 月度项目：通过声音识别鸟类
在野外，能够根据外形来辨别鸟的种类已经算得上十分厉害，如果仅凭声音就能识别，则更胜一筹了。除非您是一位阅历丰富的资深鸟类爱好者，否则只通过声音来辨别鸟类的难度还是非常大的。
来自德国马尔堡大学的一群数学、计算机科学和生物学研究人员，设计了一种快速辨别鸟的种类和监测当地生物多样性的方法。他们使用了配备 NVIDIA Jetson Nano 开发者套件的便携式设备捕捉的音频。
据研究人员介绍，Bird@Edge 项目是一个边缘 AI 系统，基于在分布式系统中运行的嵌入式边缘设备，对在森林中记录的音景实现高效、持续评估。
研究人员使用多个基于 ESP32 的麦克风（Bird@Edge麦克风），将鸟声传输至当地的 Bird@Edge 站点进行物种识别。使用的每个麦克风的 Wi-Fi 传输范围半径为 50 米。
这个装置被部署在当地的森林里，研究人员仔细考虑了音频流的 Wi-Fi 传输范围以及 GPU 的性能，并确保每个站点可以连接多达 10 个麦克风。站点获得的音频结果被传输至后台云端，供团队中的生物多样性研究人员进行进一步分析。
研究人员 Jonas H chst 表示：“在运行着模型的 Jetson Nano GPU 上，仍有一些额外的处理能力。我们还能使用 Jetson Nano 的一个自定义低功耗配置文件，这表明 GPU 本身尚存处理能力。”
Bird@Edge 项目只需要通过声音就可以快速辨别鸟的种类。研究人员表示：“从麦克风记录下鸟鸣声，到将鸟鸣声可视化只需要几秒钟，而使用以前的方法需要几天时间。”
这个办法使团队能够支持在 Jetson Nano GPU 上构建多个实时串流的 AI 应用。该算法经过训练后能够识别马尔堡大学森林中发现的 82 种鸟类中的任何一种，而且还可以根据需要扩展到更多物种。
Jetson Nano 运行的 Bird@Edge 虚拟光驱程序，用于负责监测麦克风并实例化和运行 AI 处理流程。监测结果通过蜂窝网络传输到 Bird@Edge 服务器，并存储在 InfluxDB 数据库中。由于和 Grafana 相连，研究人员可以在网页上将数据可视化。
团队证明了他们的 DNN “在几个数据集上的表现优于最先进的 BirdNET 神经网络，并实现了高达 95.2% 的声景记录平均识别精度。”
该系统还可以辨别不太常见的鸟类。H chst 表示：“我们目前正在与一位鸟类学家志愿者合作。他正在收集因为不常见而探测发现率较低的鸟类的叫声，这将进一步改进我们的工作。”
Bird@Edge 站点：从传入的数据流中捕捉录音，并对所部署的每个麦克风执行推理。该站点是一个小型便携机箱，包含 Jetson Nano、Wi-Fi、调制解调器、电压转换器和一个小型太阳能充电器。
Bird@Edge 服务器：录音通过 Grafana 传输，然后以可视化的方式动态呈现生成的洞察。
鉴于 Bird@Edge 站点设置在森林中，团队需要确保每个站点都能够高效率地运行，且无需经常给电池充电，并通过协调麦克风和边缘站点的硬件来提高能效。
团队为站点创建了一个功率只有 3.16 瓦、可持续运行近两周而无需给电池充电的高效率能源配置文件。站点依靠所连接的太阳能电池板可以连续运行。研究小组发现，即使连接的麦克风数量增加，站点的耗电量也不会有太大变化。
研究团队认为，这个项目是一种能够更加轻松追踪区域生物多样性的好方法。之前，如果研究人员想要掌握一个栖息地的健康状况，完成手工录音转录这项繁琐的工作就要花费几个月时间，同时还需要额外几个月时间来收集、分析和展示他们的结果。
借助 H chst 及其团队的工作成果，全世界的环境科学家如今可以在几秒钟内看到当地有哪些鸟类，并实时获得有关生态系统状态的洞察。
研究人员表示：“鸟类对许多生态系统都很重要，它们可以将栖息地、资源和生物流程相互联系起来，因此是显示生态系统健康状况的重要早期预警生物指标。”
Bird@Edge 能被用于更广泛的用途吗？H chst 表示，团队正在考虑如何将他们的系统商业化：“我们所面临的挑战是要将一个在可控环境中表现良好的手工组装案例，转换成可以大量使用而且无需定期维护的产品。”
“我们已经在设计和制作自动检测 VHF 遥测信号的硬件方面积累了经验，并且正在开发便于建造、稳定可靠的硬件设计，为即将进行的大规模研究做准备。”
H chst 解释道：“一方面，这使用户能够使用他们手头上的音频录制设备，并将文件上传到我们位于云端的网络服务。同时，用户可以收到直接反馈并查看所上传的文件的谱图、手动验证结果或者报告分类错误等，进而改进底层的机器学习模型。”
免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186
