自2007年中国气象局发文并规定各省按规定的测站每月上报月预测信息,并按年公布各省的Ps排名之后,Ps评分中按区域评定的方式便自动终止,只能采用站点评分一种方式。Ps评分排名的目的在于,通过对一段时期内各省份之间的Ps评分进行对比,展示预报技巧的高低,以此激励短期气候预测研究,提高预报准确率。
目前气候预测业务上使用的检验评分体系,是基于Ps、SS、ACC和Ts 4个评分指标[1-12],其中SS、ACC和Ts是技巧评分。要利用Ps评分判断预报技巧的高低,就需要和某种无技巧预报进行比较,比如随机预报或持续预报[1-2]。即在一段时间之内,Ps评分高于无技巧预报评分,预报才能被认为具有技巧。一般说来,Ps评分与无技巧预报评分的差越大,预报技巧就越高,预报的应用价值就越大;反之,预报技巧就越低,相应的就没有多少应用价值。利用Ps评分结果进行预报能力排名,就是假定所对比的省份之间,无技巧预报准确率相同而做的简化处理。在上述4种评分方法中,Ps评分使用得最广。
随机预报或持续预报评分,是由预报要素各等级的概率分布所决定的[1-2]。我国的Ps评分方法中,测站要素等级是按照要素实况值与气候均值偏差的大小,使用统一的标准划分的。由于我国疆域辽阔,南北、东西气候差异大,测站的位置位于不同的气候带,预报要素之间的变差差异显著,就使得无技巧预报准确率随着测站所在地理位置的变化而变化。
本文以测站的月预报为目标,根据评分办法规定的等级划分标准,利用历史资料对全国各省的无技巧预报的准确率进行了估算。目的在于在比较预报技巧时,能够采用Ps评分与随机预报准确率的差来衡量,使得预报技巧的比较结果更加客观。文中同时分析了在目前评分办法中,影响无技巧预报评分的其他因素,发现持续预报可以提高无技巧预报评分。
1 标准分布下的随机预报准确率随机预报准确率的计算是基于如下假设:对要预报某测站某月的要素,是在已知其各等级气候概率分布的条件下,保持随机预报各等级的概率与其气候概率相同,其预报评分就是随机预报准确率。很显然,本文所计算的测站之间随机预报准确率的差别就是由测站间各等级气候概率的分布所决定的。
以6级Ps评分为例,假设各等级分布概率为表 1中所列的分布,作为标准分布以供参考。传统Ps评分是在预报级别与实况级别完全相同时,才判定为正确。6级随机预报准确率为表 1中对角线上的数据之和,为0.18。中国现行的Ps评分办法对预报正确性的判定标准进行了修改,即表 1中所列的概率均判定为正确。
通过表 1,就可以计算出6级预报的随机预报准确率。把表 1中所列的各级别的概率相加,可以得出随机预报准确率为0.58。表 1中的最后一列,为按等级分布预报时,各等级的预报准确率。与之相对应的等概率4级Ps评分,随机预报的准确率为0.625(表略)。
对于任何一个测站,当气候要素各等级的气候分布概率确定之后,代入表 1,就可以计算出该站的随机预报准确率。
为了方便讨论样本等级气候概率分布的变化情况,在此约定:在6级评分中,异常等级是指1级(降水特少,气温异常偏低)和6级(降水特多,气温异常偏高)两个等级;正常等级是指3级(降水略偏少,气温略偏低)和4级(降水略偏多,气温略偏高)两个等级;而2级(降水偏少,气温偏低)和5级(降水偏多,气温偏高)为正常、异常之间的过渡级别。
对于任何测站,如果预测的月要素各等级的气候概率分布与表 1相同,则随机预报的准确率就相同。而如果使表 1中的异常等级的概率分布减少,正常等级的概率分布增加,把计算出的随机预报准确率与表 1的结果相比,可以发现其随机预报准确率是上升的,反之则是下降的。这说明各等级的概率分布向正常等级的方向集中时,计算出的随机预报准确率高于标准分布;反之,向异常等级的方向发散时,计算出的随机预报准确率低于标准分布。由于现行评分办法规定:在全国范围内,降水按统一的距平百分率标准划分等级,气温按统一的距平值标准划分等级,这就必然使得不同测站之间各等级的概率分布出现差异,进而导致随机预报准确率出现差异。
用概率分布求Ps评分中的随机预报准确率是最基本的方法。它根据Ps评分规定的等级划分标准,把气候年限内的预报要素划分成等级,统计出某测站某月各等级出现的气候概率,同时假定在随机预报结果中,各等级的概率分布与其相应等级的气候分布概率相同,把结果列入表 1,计算出预报各等级时的随机预报准确的概率;把各等级的概率相加,即可得出该站该月的随机预报准确率。
2 由实际等级概率分布决定的随机预报准确率下面利用全国160个观测站,1971—2000年共30年的气候资料,对12个月的月平均气温和月降水总量两个气候要素,按评分办法规定的等级划分标准,计算出各站各月各个等级的气候分布频率(其中气温全部按6级分布。降水量<10 mm时,不分级,不预报;50 mm>降水量≥10 mm时分4级;降水量≥50 mm时分6级)。根据表 1,即可计算出其随机预报准确率。12个月随机预报准确率的平均,就是年随机预报准确率。
2.1 测站间、月份间随机预报评分的差异经过计算和统计,把同一测站不同月份之间, 不同测站年平均之间, 不同测站不同月份之间, 全国160站不同月份之间的随机预报评分的最大差异列于表 2。
从表 2中可以看出,对于降水和气温各自所列出的4个项目,均有较大的差异。
2.2 以省为单位的随机预报评分对各省内所有测站年随机预报准确率进行平均,就得出了全国各省(自治区、直辖市)月气候要素的年平均随机预报准确率。按评估结果由高到低的顺序排列,其结果列于表 3。
从表 3中可以看出:(1)由于各省所在地区的气候差异远较全国范围的气候差异小,测站的这种差异能使得各省随机预报准确率出现明显的差异。如果设定预报完全报对为100分,按省份对比,降水最大相差14分,气温最大相差7分。(2)按省份等权重平均,降水的随机预报准确率为62分,气温为55分,与表 1所列的标准模型相比,降水准确率高于6级标准模型评分,略低于4级等概率模型的62.5分;气温准确率则低于6级标准模型评分。
3 影响随机预报准确率的其他因素按照目前的评分办法,无技巧预报评分仍有提升的空间。提升的途径有两种:一种是只做2级预报,另一种是持续预报。下面通过对这两种情景下预报评分的评估,讨论影响随机预报准确率的其他因素。
3.1 只做2级预报时的随机预报准确率相对于6级分级评分,如果采用只报3级和4级两个级别,对其他级别不予预报,即预报这两个等级的概率均为0.5,利用表 1可以算出,这时6级评分下的随机预报准确率就变为0.7;与之相应的4级(各级概率分布相等)随机预报准确率为0.75。
通过以上分析,上述问题是由预报正确性判定的规定引发出来的,属于评分模型设计的缺陷(或称漏洞)。那么,这种设计缺陷在实际等级概率分布(根据评分办法规定的标准划分要素等级)的情况下,对单站的随机预报准确率是否有影响呢?表 4给出统计说明。
表 4中,降水和气温随机预报准确率大于0.80的站次数分别为11站和39站,虽然站数尚达不到参加评分总站数的1%和2%,但对于与其相比较的站,显然是不公平的。在2级预报下,全国160个测站降水和气温的平均随机预报准确率均为0.65,高于6级概率分布的随机预报准确率。
在表 4的气温随机预报准确率统计中,发现7—9月的景洪站、8月的临沧站共4站次随机预报评分竟然达到0.90以上。
对于所有测站、所有月份的统计发现,采用2级预报的随机预报评分,月降水量有93.1%站次大于由实际等级概率分布决定的随机预报评分,月平均气温则有99.8%站次大于由实际等级概率分布决定的随机预报评分。
以上分析说明,由于不同测站之间、不同月份之间,各等级样本气候概率分布的不均等,评分模型设计的缺陷,只做2级预报时,对测站之间随机预报评分不等的问题,起到了一种放大作用。
3.2 持续预报的随机预报准确率持续预报是指在预报要素均值不变的时期内,某站某月某要素在只预报指定的一个等级。在所预报的要素各等级出现的概率相同的情况下,无论预报那个有利的等级,对于不同的测站,持续预报的评分总是相同的;如果各等级出现的概率不同,但参与评分的测站,各等级都按相同的概率分布,这时所有测站的Ps评分仍然具有可比性;目前我国气候预测评分,对于不同测站、不同月份,都是按实际样本距离气候均值的大小,实行统一的等级划分标准,所以等级划分中,不同测站、不同月份,各等级的分布就不相同,这时的持续预报评分,对不同的测站就不具有可比性。
对于6级预报,假设预报员只预报3级或者只预报4级,(4级预报下只报2级或3级),可以根据测站各等级的气候概率分布计算出持续预报评分。持续预报准确率,是在对每一测站分别计算其持续预报降水略偏少/气温略偏低、降水略偏多/气温略偏高两项气候评分后选其较高(有利)的评分所得的年平均评分。利用30年各等级的气候分布概率,可以计算出持续预报的准确率。
在表 5中,第2列和第3列的数据为持续预报下随机预报准确率大于0.80的站次数;从表 5可以看出:降水和气温在持续预报时,评分>0.80的站次数及与参加评分的站次数之间的比例基本持平;但降水多集中在预报偏少,气温则两者基本相等;第4列为全国60个测站的年平均持续预报准确率。通过对比,不难发现,持续预报准确率高于6级分级6级预报、6级分级2级预报下的随机预报评分,说明持续预报对评分模型缺陷放大的最明显。
通过以上讨论可知,在上述三种随机预报策略下,持续预报的评分是最高的。以持续预报为例,计算出中国各省年平均持续预报评分的评估结果,列于表 6。
对比表 3(随机预报)和表 6(持续预报),可以看出:(1)对于所有省份的降水和温度评分,持续预报都高于实际概率分布下的随机预报评分,全国平均降水提高了9分,温度提高了13分。(2)在评分高低的排名中,虽然排名的顺序有所不同,但是表 3中排名较高的测站,在表 6的排名中仍然较高。如降水预报,在表 3中评分的前16位,在表 6中,有15位仍在并列13位之前;温度预报中,表 3的前14位,在表 6有13位仍在并列10位之前。(3)各省降水无技巧预报评分,随机预报最大相差14分,持续预报最大相差16分;温度随机预报最大相差7分,持续预报最大相差8分。因此,表 3和表 6均可以说明,各省的无技巧预报评分均存在着较大的差异。(4)随机预报评分的差异是由于测站预报对象等级分布不均造成的;而持续预报评分的差异则是由测站等级分布不均和预报评分表的漏洞所共同造成的。(5)从本文的分析中,可以给出3种不同的无技巧评估结果,这反而给无技巧预报评分的定量评估带来不确定因素。
5 小结在Ps评分中,预报技巧是由一段时间内实际业务的Ps评分与无技巧预报评分的差来衡量的。本文通过对中国各省无技巧预报评分的评估,讨论了在现行评分办法中,影响无技巧评分存在差异的两个因素。
在Ps评分中,由于全国使用了统一的距平等级划分标准,形成了影响无技巧预报评分差异的第一个因素。结果造成了不同测站之间、同一测站不同月份之间,各等级的气候概率分布出现差异,进而导致随机预报评分存在差异。
利用实际等级气候概率分布,评估了各省的随机预报评分。结果表明:对于不同的省份,降水随机预报准确率最大可相差14分,气温最大相差7分。这个结果说明,各省之间无技巧预报评分差异明显。
预报正确性判定的规定,形成了影响无技巧预报评分存在差异的第二个因素。其结果使得在只做2级预报或持续预报的情况下,可以大幅提高无技巧预报准确率,给无技巧预报评分的定量评估带来不确定因素。
对随机预报和持续预报的两种评估结果的比较说明:对于所有省份的降水和温度评分,持续预报都高于实际概率分布下的随机预报评分。持续预报降水全国平均提高了9分,温度平均提高了13分。
研究结果说明:由于各省之间的无技巧预报评分存在明显差异,因此直接利用Ps评分比较预报技巧,不能客观反映出预报能力的差异。
致谢:本文获赵振国先生的批评指正,特此鸣谢。
王绍武, 朱锦红, 2000. 短期气候预测的评估问题[J]. 应用气象学报, 11(增刊): 1-10. |
陈桂英, 赵振国, 1998. 短期气候预测评估方法和业务初估[J]. 应用气象学报, 9(2): 178-185. |
王雨, 闫之辉, 2007. 降水检验方案变化对降水检验评估效果的影响分析[J]. 气象, 33(12): 53-61. DOI:10.7519/j.issn.1000-0526.2007.12.008 |
马振锋, 杨佑洪, 2001. 成都区域气象中心短期气候预测业务评估[J]. 气象, 27(12): 29-32. DOI:10.3969/j.issn.1000-0526.2001.12.007 |
李辑, 金巍, 赵连伟, 2007. 辽宁省近10年短期气候预测质量评估检验[J]. 气象, 33(4): 82-87. DOI:10.7519/j.issn.1000-0526.2007.04.014 |
吉庭艳, 1999. "八五"期间我省几种长期预报方法的评估检验[J]. 贵州气象, 23(3): 36-42. |
郑峰, 苗长明, 张小伟, 2008. NRSM短期气候模式对温州台汛期预测能力检验(Ⅰ):月和季降水检验[J]. 科技导报, 26(2): 67-75. |
陈丽娟, 李维京, 1999. 月动力延伸预报产品的评估和解释应用[J]. 应用气象学报, 10(4): 486-490. |
王会军, 陈丽娟, 李维京, 2007. 中国区域月平均温度和降水的模式可预报性分析[J]. 气象学报, 65(5): 725-732. DOI:10.11676/qxxb2007.068 |
姚筠, 马晓群, 许莹, 等, 2010. 2008年安徽省雪灾农业影响定量评估研究[J]. 气象, 36(1): 86-90. |
朱艳峰, 肖子牛, 温娜, 2010. 广义平衡反馈分析方法[J]. 气象, 36(4): 1-6. DOI:10.7519/j.issn.1000-0526.2010.04.001 |
王遂缠, 吉慧敏, 2004. 重要灾害性天气评分系统[J]. 气象, 30(9): 42-45. |