基于交叉注意力特征融合的CNN-BiLSTM婴儿哭声状态识别方法
网络安全与数据治理
宋倩倩,安洋,王治国,魏子鸣,段盛波,伍何洋
西安理工大学计算机科学与工程学院
摘要: 针对婴儿哭声信号中蕴含的饥饿、困倦、换尿布等细粒度生理需求与行为状态难以被准确辨析的问题,提出一种基于交叉注意力特征融合的CNNBiLSTM婴儿哭声状态识别方法。鉴于婴儿哭声在声学结构与时间动态方面表现出的高度非线性与复杂性,构建了并行双分支网络:利用卷积神经网络(CNN)捕获频谱特征的空间结构信息,同时结合双向长短期记忆网络(BiLSTM)建模信号的时序依赖关系;在此基础上,引入交叉注意力机制实现多源特征的自适应融合。在Baby Crying数据集上的对比实验表明,所提方法在精确率、召回率和F1分数指标上分别达到95.19%、94.58%和94.73%,有效提升了婴儿哭声状态识别的准确率,验证了该方法的有效性与可行性。
中图分类号:TP315文献标志码:ADOI:10.19358/j.issn.2097-1788.2026.09.010
中文引用格式:宋倩倩,安洋,王治国,等. 基于交叉注意力特征融合的CNNBiLSTM婴儿哭声状态识别方法[J].网络安全与数据治理,2026,45(9):75-83.
英文引用格式:Song Qianqian, An Yang, Wang Zhiguo,et al. A CNNBiLSTM method for infant cry state recognition based on crossattention feature fusion[J].Cyber Security and Data Governance,2026,45(9):75-83.
A CNN-BiLSTM method for infant cry state recognition based on cross-attention feature fusion
Song Qianqian, An Yang, Wang Zhiguo, Wei Ziming, Duan Shengbo, Wu Heyang
School of Computer Science and Engineering, Xi′an University of Technology
Abstract: To address the difficulty of accurately identifying finegrained physiological needs and behavioral states such as hunger, sleepiness, and diaper changes in infant crying signals, this paper proposes a CNN-BiLSTM-based infant cry state recognition method based on crossattention feature fusion. Considering the high nonlinearity and complexity of infant cries in terms of acoustic structure and temporal dynamics, this method constructs a parallel dualbranch network: it uses a convolutional neural network (CNN) to capture the spatial structures information of spectral features, while combining a bidirectional long short-term memory network (BiLSTM) to model the temporal dependencies of the signals; on this basis, a cross-attention mechanism is introduced to achieve adaptive fusion of multisource features. Comparative experiments on the Baby Crying dataset show that this method reaches 95.19%, 94.58%, and 94.73% in precision, recall, and F1-score, respectively. These results effectively enhance the accuracy of infant crying state recognition and validate the efficacy of the proposed approach.
Key words : infant cry; state recognition; feature fusion; cross-attention; deep learning

引言

啼哭是婴儿和外界沟通的“语言”,也是表达生理需求和行为状态的主要方式,自动识别哭声含义(如饥饿、疼痛)和早期筛查病理情况(如窒息、自闭症)具有重要的实际应用价值[1]。在现代育儿生活中,由于年轻父母缺乏新生儿照护经验且受工作压力限制导致时间与精力不足,难以准确理解婴儿哭声所传达的信息并及时予以安抚,易使父母产生焦虑情绪,也可能对婴儿的身心健康造成不利影响[2]。早在20世纪60年代,婴儿哭声研究便已起步——当时WaszHckert研究团队通过专业护士的听觉辨识,首次确定了疼痛、饥饿、出生和愉悦四种典型哭声类型[3]。在婴儿哭声研究的早期阶段,许多工作都集中于区分正常与病理性哭声信号,这些研究涵盖了听力障碍、窒息、甲状腺功能减退、高胆红素血症、腭裂等疾病的识别[4]。近年来,婴儿哭声状态识别受到广泛关注[5],准确识别婴儿的哭声状态及潜在需求(如饥饿、困倦或需更换尿布等),有助于辅助年轻父母提升照护效率,并缓解其育儿压力。

目前,针对婴儿状态识别的研究主要依据哭声信号来推断其生理与心理需求,相关方法大致可归纳为传统机器学习和深度学习方法两类[6]。传统机器学习算法通常依赖从哭声信号中提取的声学特征(如梅尔频率倒谱系数(MelFrequency Cepstral Coefficients, MFCC)、共振峰等)进行识别,常用方法包括KNN、SVM和高斯混合模型(GMM)。与传统机器学习需人工设计特征不同,深度学习模型能够自动学习并提取哭声信号中的深层判别性特征,在捕捉细微声学特征变化方面具有显著优势。因此,基于深度学习的婴儿哭声状态识别方法已成为当前的研究热点。

近年来,基于深度学习的婴儿哭声识别研究逐步从单一检测向多状态细粒度分类演进。2019年,谢湘[7]等将残差网络(ResNet)引入婴幼儿哭声识别任务,利用语谱图建模声学特征,在二元检测任务上取得0.996 5的F1分数,验证了深层卷积网络在哭声信号建模中的有效性。2020年,Gulati[8]等提出Conformer模型,通过卷积增强 Transformer(Convolutionaugmented Transformer)在语音识别任务中同时建模局部特征与全局上下文依赖,突破了传统卷积神经网络(CNN)与Transformer在时序建模上的局限,为哭声信号的细粒度分类提供了新的技术思路。2022年李彬[9]提出了一种基于双线性端到端的Transformer模型来分类婴儿哭声,该模型将频谱图增强模块和注意力机制相融合后输入到Transformer中,增强和突出了关键信息,从而提高对婴儿哭声的分类效果。2023年,Lv[10]等提出多尺度CNNBLSTM模型,通过并行多尺度卷积核提取不同感受野的频谱特征,并结合双向长短期记忆网络(BiLSTM)建模时序依赖,在自建四分类哭声数据集上取得83.72%的准确率,证明了多尺度时空特征融合在哭声状态识别中的潜力。同年, Cao [11]等提出了一种基于一阶小波散射系数的轻量级婴儿哭声检测模型,在计算资源受限的环境下取得了96.98%的检测准确率。但该研究仍停留在哭声检测层面,未对哭声背后的状态类别进行深入分析。Qiu[12]等在2024年进一步提出了ResLSTM模型,通过引入残差连接缓解梯度消失问题,并融合MFCC、梅尔频谱图与Tonnetz构建混合特征,在多数据集上验证了残差结构与循环网络协同建模的有效性。王汝旭[13]等2024年提出了一种基于Vision Transformer和迁移学习的婴儿哭声音频分类算法,准确率达到98%左右。但该方法仅用于区分哭声和非哭声,未对哭声具体类别进行分析。同年,Qiao [14]等提出了一种基于多维度混合特征高效图谱与局部-全局卷积注意力网络(AlgNet)的婴儿哭声识别方法,通过融合频谱图、梅尔频谱图与MFCC特征构建互补性图谱结构,并结合卷积神经网络与多头注意力机制分别提取局部空间与时序全局依赖,验证了注意力机制在哭声特征融合中的有效性。

针对婴儿哭声信号在时空维度及动态演化上的复杂特性,本文提出一种基于交叉注意力特征融合的CNNBiLSTM婴儿哭声状态识别方法。该方法将CNN提取的局部空间特征和BiLSTM提取的时序特征相结合,同时引入交叉注意力特征融合模块,实现了对六类婴儿哭声状态的准确识别。


本文详细内容请下载:

https://www.pcachina.com/resource/detail/6000007251


作者信息:

宋倩倩,安洋,王治国,魏子鸣,段盛波,伍何洋

(西安理工大学计算机科学与工程学院,陕西西安710048)

通知公告
编辑观点
理事会
参考资料
版权声明

凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。

《网络安全与数据治理》(原《信息技术与网络安全》)编辑部