融入实体特征的典籍自动分类研究

摘要:【目的】在传统统计特征词算法的基础上,添加实体特征对10本古代典籍进行分类研究。【方法】基于支持向量机模型,分别采用传统的TF-IDF、信息增益、卡方检验、互信息4种统计量计算特征词,再加入命名实体这一特征,验证分类器的分类效果。【结果】加入实体特征之后分类器的最高精度达98.7%。在传统的信息增益、TF-IDF、互信息和卡方检验特征计算下的分类精度分别提高12.4%、12.4%、12.3%、22.8%。【局限】将实体特征迁移到其他文本有一定的局限性,需要重新标注识别实体。【结论】实体可以作为一类特征应用到文本分类模型中,具有实际的应用推广价值。

关键词:
  • 古代典籍  
  • 文本分类  
  • 实体  
  • 支持向量机  
作者:
秦贺然; 刘浏; 李斌; 王东波
单位:
南京农业大学信息科学技术学院; 南京210095; 南京农业大学领域知识关联研究中心; 南京210095; 南京师范大学文学院; 南京210097
刊名:
数据分析与知识发现

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

数据分析与知识发现杂志紧跟学术前沿,紧贴读者,国内刊号为:10-1478/G2。坚持指导性与实用性相结合的原则,创办于1980年,杂志在全国同类期刊中发行数量名列前茅。