基于Hadoop的气象数据存储检索应用研究

随着气象数据规模快速增长,气象预报和气候分析对数据服务时效性要求的提高,传统的气象数据存储和服务模式面临一定的挑战.本文提出了结合了hadoop技术的气象数据存储检索应用模式,并进行了实验和性能测试,以评估其实现效果.实现中针对代表性的结构化与非结构化气象业务数据,分别进行了测试,并提出优化方法.性能测试中对于自动站结构化数据的检索,大部分响应时间在毫秒级;对于大结果集的雷达基数据非结构化数据的检索响应时间也在秒级.本文认为基于hadoop的气象数据存储检索可作为应对海量气象数据增长带来的存储服务问题的有效解决途径之一.