结合多头注意力机制的旅游问句分类研究

旅游问句具有长度较短,不严格按照语法规则的特点,导致该文本数据信息容量过少、口语化严重.充分理解问句表达的语义是提高旅游问句分类器性能面临的重要挑战,基于此,提出一个融合Bi-GRU、CNN与Multi-Head-Attention的旅游问句分类模型.该模型将预先训练的词向量和经Bi-GRU处理得到的语义信息进行融合,进行问句依赖关系学习,通过CNN和Multi-Head-Attention进行特征提取,以加强局部特征的学习,通过Softmax完成分类.实验结果表明,该模型在文本信息少、表述不规范的旅游问句分类任务中F1值达到了92.11％,优于现有的主流分类模型.