快速检索
  气象   2007, Vol. 33 Issue (2): 34-41.  

研究论文

引用本文 [复制中英文]

陶士伟, 徐枝芳, 2007. 加密自动站资料质量保障体系分析[J]. 气象, 33(2): 34-41.
[复制中文]
Tao shiwei, Xu Zhifang, 2007. Analysis of the Quality Assurance Procedures in Intensified Automatic Surface Weather Observation System[J]. Meteorological Monthly, 33(2): 34-41.
[复制英文]

资助项目

本研究由北京城市气象研究所的城市气象科学研究基金(基金号:UMRF200502)和国家自然科学基金(基金号:40505021)资助

文章历史

2006年8月18日收稿
2006年12月18日收修定稿
加密自动站资料质量保障体系分析
陶士伟 1,2, 徐枝芳 2    
1. 北京城市气象研究所,北京 100089
2. 国家气象中心
摘要:加密自动站(IAWS)观测网随着我国观测系统的加强日趋完善,许多省市都有IAWS局域网。IA WS观测资料的应用也日益受到重视。但由于IAWS观测资料的特殊性,其质量问题不同程度地阻碍了它的使用。为了促进我国IAWS观测资料质量保障体系的建立,首先通过对比IAWS观测资料和以往的天气尺度常规地面人工站(CMWS)观测资料的特点,分析了IAWS资料的特殊性,然后从国际上IAWS观测资料质量保障体系的经验和方法着手,对IAWS观测资料和CMWS观测资料质量保障体系的差别以及建立IAWS观测资料质量保障体系应注意的重点和问题进行了分析。分析结果表明:IAWS观测资料质量保障体系不同于CMWS观测资料质量保障体系,应特别重视观测业务管理体制建立和台站级自动质量控制、人工干预、监测评估等技术的应用。
关键词加密自动站    质量控制    质量保障体系    
Analysis of the Quality Assurance Procedures in Intensified Automatic Surface Weather Observation System
Tao shiwei1,2, Xu Zhifang2    
1. Institute of Urban Meteorology, CMA, Beijing 100089;
2. National Meteorological Center
Abstract: The Intensified Automatic surface Weather observation System (IAWS) is becoming accomplished with the enhancement of the observation system in China. Local IAWS network has been set up in many areas and much attention has been paid to the application of IAWS data. Because of the special characteristic of IAWS, the application is postponed by the problem of data quality in some degree. In order to facilitate the study on IAWS data Quality Assurance(QA) procedures in our country, three aspects are analyzed in this paper. First, the speciality of IAWS is analyzed by comparing the characteristics of IAWS data and Conventional Manual surface Weather observation System (CMWS) data. Second, the experiences of building up the IAWS QA procedure in other countries are introduced as reference. At last, the differences are analyzed between the IAWS QA and CMWS QA, and the key aspects and problems are pointed out to be notified during the setup of IAWS QA. Results show that the IAWS QA is different from CMWS QA in some aspects. More attention should be paid in management of IAWS operation, the automatic quality control at station level, as well as manual quality control and quality monitoring.
Key words: automatic surface weather observation system    quality control    quality assurance procedures    
引言

随着现代化技术和世界经济的发展,中尺度、短时效、特殊行业天气预报的需求日益高涨。气象预报及资料同化技术也日新月异。要满足和适应日益高涨的气象服务需求,描述中尺度、短时效天气现象的观测资料是必不可少的。除卫星遥感、飞机观测外,加密自动站(IAWS)观测资料也是中尺度、短时效天气预报不可缺少的重要资料源之一。目前,世界上许多国家或地区都建立了分布密集的IAWS观测网。美国从1992年开始建设,到2002年已有1100多个地面IAWS观测站,观测要素除温、压、湿、风外,还有云、能见度、天气现象、降水、特殊天气现象[1]。在我国,IAWS观测网的建设同样受到高度重视,并日趋完善,许多省市都有自己的IAWS观测网。到2006年初,全国共有5000多个IAWS。一些地区IAWS间的间距已小于10km。但是,由于IAWS的特殊性,其质量问题不同程度地阻碍了IAWS观测资料的使用。因此,获取高质量的IAWS观测资料,一套完善的资料质量保障体系(简称QA)的建立是十分必要的。

国际上许多国家或地区都有自己的IAWS QA[2-5],而在我国,由于IAWS观测网正在建设阶段,还没有形成成熟的IAWS QA,对IAWS QA建立的认识和经验还很缺乏,在这方面的研究还有待加强。本文通过介绍国际上成熟的IAWS QA方法和经验,对常规地面人工观测站(CMWS)和IAWS资料特点[6]以及CMWS QA[7-9]和IAWS QA的差异进行对比分析,从而推动我国IAWS QA快速的建立。本文第1节主要分析和介绍IAWS观测资料与CMWS资料的差异;第2节介绍国际上有代表性的IAWS QA中常用的方法和经验;第3节对CMWSQA和IAWS QA的差异进行分析。

1 IAWS观测资料的特点

IAWS观测资料的特点与IAWS QA密切相关。要设计开发IAWS QA体系,详细了解这些特点是非常有必要的。下面从五个方面对IAWS与CMWS观测资料进行对比,正是这些IAWS观测资料的特点使其质量控制问题相对CMWS资料更为复杂。

1.1 测站环境

CMWS选址要经过气象专家认真调研,考虑站点分布、地形、周围环境、视野等,以达到观测资料能充分代表一定天气尺度天气现象的要求。IAWS主要是要具有监测中小尺度天气现象的能力,测站分布较密,很难保障所有测站点都满足视野开阔无障碍物的环境要求。

1.2 设备维护

CMWS观测是由人工操作的,观测人员在每日定时观测的同时,也检测观测设备的运行状态。IAWS不一样,它是自动观测的,有些测站在环境恶劣的地区,其设备要经受长期风吹、日照、雨淋、沙尘侵蚀,动物昆虫损毁、甚至人为破坏等。由于以上原因,IAWS观测出现错误资料的几率远远高于常规地面观测资料。

1.3 数据采集

目前部分CMWS的观测数据是人工定时采集、整理、编码和传输的,观测人员在做这些工作的同时,检查观测数据正确性和观测仪器状况,能及时发现、解决仪器异常问题;IAWS是在无人操作和实时管理的情况下自动进行实时采集数据、形成观测报告、生成和传输数据文件,并需要传感器、数据采集、数据通讯传输诸系统,错误数据源于多种途径, 不易被发现。因此, 对台站观测资料的质量控制更加重要。

1.4 资料实时性

CMWS观测次数和时间是预先确定的,如一天24次、8次、7次、4次、3次不等。如在台站发现CMWS观测资料异常,可采取相应的补救措施,如补发订正报或延迟报。IAWS数据采集是按要素类型分别以秒、分、时、天不同时间尺度自动进行的,实时性很强。如果观测数据中存在错误, 即使在质量控制中发现了,也很难补救。

1.5 IAWS的中小尺度特性[6]

和CMWS观测资料不同,IAWS观测资料可描述中小尺度天气现象。有些中小尺度天气现象的空间尺度小,可能只在某一个或几个测站发生,时间尺度可能仅20分钟左右。如底层逆温产生的冷池和暖舌、雷暴衰亡期的中层空气干绝热下造成的热暴可产生近10℃的温差;对流性降水产生的中尺度高压和中尺度低压可产生近10hPa气压差。此外还有降雪、雪盖、植被影响和小尺度气候等引起的温度差异。

2 IAWS观测资料QA体系概要

IAWS QA体系是获得高质量观测资料的需要,并能同时提供每一个观测要素的质量可信度信息。该体系包含观测业务管理;仪器定标、安装、台站安装对比试验、维护及更新;自动质量控制;人工干预;观测资料质量监测评估[2-5]。其流程(如图 1), 各个部分互相关联、相互沟通、信息共享,从而构成一个无缝的IAWS QA体系。

图 1 IAWS观测资料QA体系流程 其中QC0、QC1、QC2的定义在2.2节

表 1给出IAWS QA体系各个过程的时间尺度。

表 1 IAWS QA体系各个过程的时间尺度
2.1 观测仪器定标、测试

任何一种观测仪器在它的使用期内都要经过若干次定标系数检验。在观测仪器用于业务之前,要进行试验室的预定标检验;在观测仪器安装后,在实测观测场与参考观测仪器观测对比检验;在正常业务观测期间,在实测观测场与参考观测仪器观测对比检验;以及观测仪器从观测场地撤回后在试验室进行后定标检验。IAWS系统最好建立自己的观测仪器定标实验室。首先,因为所有观测仪器在安装之前,都要通过各种定标过程,观测仪器定标实验室为检验仪器生产厂商的定标提供机会。没有通过观测仪器定标实验室检验的观测仪器不能用于观测业务。另外,观测仪器定标实验可以为改进观测系统反馈观测仪器性能信息。在观测仪器定标实验室使用高质量的观测仪器,检验各种观测仪器是否在观测业务功能需求书规定的精度范围之内。

所谓后定标检验,即对被召回到观测仪器定标实验室进行性能测试。在如下情况,需把观测仪器从观测场地召回:观测仪器出现故障时;发现仪器存在设计缺陷时;到达厂商推荐的定标周期或更新周期时。超出厂商推荐的定标周期使用,仪器容易出现定标飘移。对经过后定标检验的观测仪器进行清理、调整、维修,以及再预定标检验和资格验证,使其性能在允许的范围内,以备再次使用。

预定标检验、更新及后定标检验的结果都要记录在案,以备技术人员和观测业务管理人员在必要时查阅。

2.2 自动质量控制

由于IAWS观测资料的特点,使质量控制问题更复杂,难度更大。IAWS自动质量控制分为三个层次, 分别为QC0、QC1和QC2。各层次包含的质量控制方法如表 2

表 2 各个层次的质量控制方法

QC0是在测站上观测资料编码传输前随时实施针对原始观测资料(信号)完成的相对简单的基本自动质量控制过程。其目的是在观测的最初阶段发现和纠正一些容易检查出的感应器或通讯系统产生的错误观测信息。

QC1是在资料处理中心实时观测资料接收、译码、处理过程中完成的应用于单站的自动质量控制过程。QC2是在资料处理中心相对于观测时间若干小时之后才运行, 在QC1的基础上增加最小变率检查、空间一致性检查。它要求被检查观测时次的资料基本到齐,以保证空间一致性检查的需求。

(1) 气候极值检查的目的是检测出非常明显的无气象意义的错误资料。在QC0中,最原始观测信息的极值判据与感应器有关。在QC1和在QC2中,观测要素的极值判据与纬度带、地形高度、气候特点有关。

(2) 时间一致性检查的目的是检验观测信息或观测要素的时间变化率,识别出不理想的突然变化。它适用于高的时间分辨率,因为相邻样本的相关性随着时间分辨率增加而加强。检查判据与样本的时间分辨率有关。

(3) 相似性检查是在同一测站,不同层次相同要素间的比较,当这两个观测值的差别大于给定判据,则认为他们都是可疑的,相似性检查方法可引用到温度、土壤温度和风速等要素。

(4) 内部一致性检查的基本算法是基于两观测要素的气象学相关性,检查他们之间是否存在矛盾现象。

(5) 最小变率检查的主要功能是检查仪器失灵等(如结冰、通讯问题)造成的观测参数变化太小或不变。与时间一致性检查相反,最小变率检查从观测要素时间变化率的另一个角度检查观测的合理性。最小变率检查有标准差法和相邻时次资料差法两种,它要求给定时间范围内观测要素标准差法或所有两相邻时次资料差的最大值大于给定判据。

(6) 空间一致性检查是检查观测资料空间一致性。对于孤立的错误资料,空间一致性检查是非常有效的一种质量控制方法。可用于空间一致性检查的客观分析方法有很多[3]。如Barnes客观分析方法[4],空间回归法[10-11]。空间一致性检查要特别注意如何消除地形对分析的影响。空间回归法、平均值扣除法[12]、背景场扣除法[13]都是消除地形影响的有效方法。

(7) 决策算法[14]是综合分析各质量控制方法的结果,进一步确定观测资料正确性。凡涉及两个以上观测资料的质量控制方法,都无法确定相矛盾观测资料中的哪一个是错误,必须借助其它质量控制方法的综合质量信息才能做出判断。

可用于各主要观测要素的自动质量控制方法如表 3

表 3 可用于各主要观测要素的自动质量控制方法
2.3 人工干预

人工干预作为IAWS QA的重要组成部分,其主要目的就是解决自动质量控制无法做出正确决策的疑难问题[4, 15]。在相对平坦的地区,空间一致性检查的可信度较高,在地形起伏较大的地区,空间一致性检查的可信度低;即使在相对平坦的地区,有时因中小尺度现象或局地气候,某一观测要素产生较大突变,自动质量控制过程有可能把正确的观测资料误判为可疑或错误的; 对似是而非的资料, 自动观测质量控制也无法做出决策。这些都需要借助人工干预技术才能做出最后的判断。人工干预除需要经过培训有丰富经验的气象专家来完成外。还需要大量可视化辅助工具,其中包括误差列表、实况天气图、模式预报图、气候天气图、卫星云图、雷达天气图、时间序列图、统计信息、地形图和测站环境信息等。各种可视化辅助图形和误差列表相互耦合。当人工干预人员在误差列表或其他显示图中锁定一个参数后,自动激活和这个参数相关的其他可视化辅助图形菜单以供选择。

人工干预人员有权修改误差列表中的质量标识。当完成一个参数的人工干预后,自动生成人工干预质量标识,并再次激活自动质量控制过程,检查其他参数是否受人工干预影响出现新的可疑参数。

2.4 检测评估

观测资料质量监测评估部分运行周期可分别以月、季、年[4]。既评估观测资料的质量,又评估质量控制的能力。

检测评估观测资料质量,从不同角度给出观测资料的质量信息。包括各观测要素的平均、均方差、最大值、最小值、错误率、可疑率、各种时间序列和综合评估等。这些评估结果可是全球、区域或单站的, 可以是空间的,也可以是时间的。

检测评估质量控制功能,统计各质量控制方法在相应观测参数值各等级质量标识的次数、特别是质量标识的正确性、质量标值错置原因。

观测资料检测评估信息是观测资料用户了解各类观测资料质量信息的主要来源,以便正确使用观测资料,如在资料同化系统中合理设置观测资料可用性和观测误差;观测资料质量控制系统可根据检测评估信息改进质量控制方法和调整质量控制判据减少质量控制错判率;观测系统管理维护人员借助检测评估信息可发现观测系统或观测仪器异常,及时对观测仪器进行改进和维护。

2.5 观测业务管理

严密的组织机制和高效的管理手段是IAWS运行的稳定性和可靠性的保证。因此,在IAWS QA体系中,观测业务管理是至关重要的。因为观测业务管理部门承担着观测业务需求的调研、观测目标的确定、观测功能和观测规范的设计、观测网的布点、观测业务的实施等的组织及管理工作。所有与观测业务有关的其他工作都在观测业务管理部门的管理下进行。

首先,观测业务管理部门要组织各方面的专家做细致的调研,征求观测资料用户的各方意见,以确定观测业务需求, 包括观测要素、时空分辨率、观测要素的精度。根据观测业务需求和观测仪器的研发现状,确定观测功能需求,撰写观测功能需求书。其中明确观测目标、适用范围、测量技术要求、传感器要求、数据采集-传输-处理-质量控制等一系列功能要求、以及设备的安全性、可靠性、可维性、工作环境适应性的要求。

根据观测功能需求书制定观测业务规范是观测业务管理列一项重要工作。作为观测业务的规章制度,在观测业务规范中明确规定观测要素、观测时间、观测流程、资料处理方法、质量控制过程、数据传输存储归档格式、故障处理及补救对策、仪器维护保养制度等。

观测业务的日常管理也是保障观测资料质量的关键。观测业务管理系统需要实现对观测业务的远程监控,以便观测业务管理人员监管观测业务的运行。观测业务管理系统的各个环节保持通讯畅通,台站及资料处理中心的质量控制、人工干预、质量自动检测评估、资料用户及远程监控手段等多个环节获的有价值的资料质量反馈信息共享。观测业务管理人员根据这些资料质量反馈信息,随时发现、分析和解决观测业务中出现的任何问题。如分析是观测仪器出现故障,还是通讯系统出现故障,指派相应的专家到现场进行故障分析、判断、处理和排除,并制作故障档案。定期制作观测业务质量评估报告并与相关部门相互沟通。

建立严密的观测业务管理规章制度,管理和组织各种技术人员按IAWS观测规范定期对各个测站观测系统进行巡视、全面日常维护、感应器对比试验、故障的分析判断和处理。并在必要时对仪器进行更新。

观测业务管理部门另一职责是根据观测仪器状况和观测业务需求的发展,决定观测仪器的调试、维护和更新。

3 IAWS QA和CMWS QA的差别

尽管在许多环节上IAWS QA体系和CMWS QA体系有相似之处,但由于IAWS自身的各种特点,决定了两种QA体系之间仍有许多重要差别。主要表现在以下几点:

(1) IAWS QA体系中的观测设备维护是由设备维护人员定期巡视的。发现和解决设备问题总是比出现设备问题滞后。在CMWS QA中,观测人员在观测业务的同时,实时负责观测设备状况的巡视,能非常及时地发现设备问题。因此,在质量问题方面,IAWS观测资料多于CMWS观测资料。此外,在IAWS QA质量保障体系中需要格外注意仪器的校准漂移等特殊问题。

(2) IAWS QA体系中的气象资料质量控制应贯穿于从资料采集、资料加工处理和资料存档入库的全部环节。观测站级的自动质量控制显得更加重要。对于CMWS观测站,资料采集是由人工进行的。观测员在采集数据的同时,负责对数据正确性的审查。因此在CMWS QA中,不存在观测站级自动质量控制问题。对代表性较差的观测要素(如降水、相对湿度和风),由于IAWS观测资料时空分辨率高,使时间一致性检查,最小变率检查、空间一致性检查成为可能和有效。

(3) CMWS观测资料中,有些目测观测要素(如天气现象等)被广泛的应用于观测资料内部一致性检查,以增加质量控制的效果。在IAWS观测资料中没有可应用于观测资料内部一致性检查的目测观测要素。

(4) 由于IAWS的自动化特性引起的高错误几率和IAWS观测资料的中尺度特性,在很大程度上增加了质量控制的难度,必须借助人工干预功能才能做出可靠的判断。因此人工干预系统的重要性尤其显得突出。人工干预系统对IAWS观测资料是非常的重要。

4 结束语

IAWS观测资料QA体系是确保高质量IAWS观测资料必不可少的重要环节。与世界发达国家相比, 我国在IAWS观测资料的质量控制方面还存在许多差距, 其中许多技术还没有得到运用(如人工干预技术)。在我国IAWS普遍布点的重要阶段,IAWS的QA体系应该得到足够的考虑和重视。

在发展IAWS QA体系时,务必重视人工干预技术的开发。在IAWS QA体系中,专家经验很重要。国外成功的质量控制方案表明, 完全自动化的质量控制不可能解决所有的数据质量问题, 对于一些特殊情况或问题,许多措施和决策是基于各类专家和技术人员的知识和经验。人工干预技术是从疑难问题中区别正确资料和错误资料的有效工具。

需要强化台站级质量控制。IAWS资料台站级的实时质量控制特别重要,且是IAWS资料质量控制系统的关键。应当充分发挥自动采集数据、计算机自动检查资料的自动化优势, 使观测站传输出的资料绝大部分得到很严格的控制。

IAWS QA体系需要不断改进以趋向完善。由于该体系的综合性,一个分量的信息可反馈到体系的其它分量。这种信息反馈过程对改进体系是非常重要的。资料监测评估是实现这种信息反馈过程的有效工具。

QA是非常庞大体系,开发这样的体系需要各方面的专家或技术人员,如要素库技术人员、自动质量控制技术人员、气象预报专家、计算机软件开发专家、图像软件开发专家。

参考文献
[1]
周林, 李湘. 关于美国自动地面观测系统(ASOS)的考察报告[R]. 气象科技合作动态, 2002, (4).
[2]
Igor Zahumensky. Guidelines On Quality Control Precedures for Data from Automatic Weather Station[OL]. Igor. Zahumensky@shmu. sk.
[3]
Vejen F, Jacobsson C, Fredriksson U, et al. Quality control of meteorological observations automatic methods used in the Nordic countries[R]. Climate Report, No. 8/2002, KL IMA.
[4]
Mark A. Shafer, Christopher A. Fiebrich, Derek S. Arent, etl. Quality Assurance Procedures in the Oklahoma Mseonetwork[J]. J. Atmo. Oceanic Techenol., April, 2000, 474-494.
[5]
熊安元. 北欧气象观测资料的质量控制[J]. 气象科技, 2003, 31(5): 314-320.
[6]
hristopher A. Fiebrich, Kenneth C. Crawford. The Impact of Unique Meteorological Phenomena Detected by The Oklahoma Mesonet and ARS Micronet on Automated Quality Control[J]. Bulletin Amer. Meteo. Soc., Oct, 2001, 82(10): 2174-2187.
[7]
张强, 郭发辉, 许松. 全球地面天气爆资料质量控制和数据集特征分析[J]. 应用气象学报, 2004, 15(增刊): 121-127.
[8]
任芝花, 刘小宁, 杨文霞. 极端异常气象资料的综合性质量控制与分析[J]. 气象学报, 2005, 8, 63(4): 526-532.
[9]
刘小宁, 任芝花. 地面气象资料质量控制方法研究概述[J]. 气象科技, 2005, 31(5): 199-203.
[10]
Kenneth G. Hubbard, Jinsheng You. Sensitivity Analysis of Quality Assurance Using the Spatial Regression Approach-A Case Study of the Maximum/Minimum Air Temperature[J]. J. Atmo. Oceanic Techenol, 22: 1520-1530.
[11]
Charles G.Wade. A quality control program for surface mesometeorologiacl data[J]. J. Atmo. Oceanic Techenol., Sep, 1987(4): 435-453.
[12]
杨贤为. 气候应用专用数据库气象资料的质量检验[J]. 气象, 1998, 24(12): 33-36.
[13]
陶士伟, 陈卫红, 屠伟铭, 等. 中期数值天气预报系统中观测资料的质量控制[G]. 中期数值天气预报研究成果汇编〈三〉. 北京: 气象出版社, 1991: 277-292.
[14]
王佰民. 基本气象资料质量控制综合判别法的研究[J]. 应用气象学报, 2004, 12, 15(增刊): 50-59.
[15]
Lars Andresen eat el. Manual quality control of Meteorological Observations[R]. Climate Report, June 2003, No. 9/2003 Klima, Norwegian Meteo. Institute, Box 43 Blindern, N-0313 Oslo, Noeway.