引言

科学定量地评估2006年、2007年奥运演练期间及2008年北京奥运气象信息服务所产生的社会经济效益，是奥运气象服务的一项重要工作，同时也是当前工作中的薄弱环节。对社会经济效益进行评估，既可以让社会各界、政府决策部门更好地了解和支持气象事业发展，也可以定量测量气象部门产出和服务究竟在多大程度上满足了用户的需求，同时还可以了解如何有效规避和控制奥运期间气象风险，真正贯彻落实“三个气象”的理念和“安全奥运”，因而具有重要的理论价值和很强的现实意义。从工作层面的意义来说，评估就在于发现问题、找到缺点，只有寻找不足，才能全力做到尽善尽美，这也是奥运会所传承的一种精神。

1 相关研究简要评述

关于天气预报和服务的社会公众价值评估，早在1994年WMO召开1990年代第二次气象水文效益评估专门会议，认为气象服务评估是一项重要的和有价值的工作，也是一项难度较大的课题。叶笃正等人根据风险经济学和决策理论，将气象预测过程同用户决策过程有机地结合起来，构建了一个未来天气气候预测体系的概念模型^[1]。毛留喜等人构建生态气象监测评估模型，可以进行生态气象定量监测和评价、监测与评估，反映气象条件对生态环境的作用^[2]。西方专家大都针对气象服务的某一方面对气象服务效益进行过分析和评价，比如农业、渔业或林业部门，或者了解不同用户对气象信息类型的需求等，而针对整个公共气象服务迄今尚未形成一种国际公认的评价方法和模式。关于奥运气象服务评估工作，2000年悉尼奥运气象服务中世界天气预报示范计划(WWRP)中FDP项目中，首次包括了有关社会、经济影响的评估研究，通过社会调查等方式了解各类用户的需求与信息使用过程^[3]，提出了此类研究的框架，但缺乏定量评估方法，也没有涉及风险评估内容，比如没有给出多方关注的影响大型赛事的天气阈值。

1990年代，人们已经广泛形成共识，用户满意作为企业的战略要素，可以带来用户保持和获利能力，全球许多著名公司都采用用户满意度作为用户保持的基本工具，并作为测量企业良性发展的事实标准。由于用户满意管理研究基本目的是为了预测用户的行为反应，因此，自1980年代以来，许多学者从行为学视角来研究用户满意的行为结果。Cronin等人认为全面满意度是服务质量得到的主要函数^[4]。Walter等人认为其基于行为模型、且影响是由认知显著影响的，实证证明用户感知价值对用户满意度具有正的影响关系^[5]。用户满意理论研究大多局限于有形产品领域，应用于消费服务市场的研究很少。气象信息服务产品呈现较强的体验属性，因而气象产品和服务的消费市场、尤其是用户满意度研究将会有其独特之处。

本文将北京奥组委BOCOG官员定位为奥运气象服务的高端用户，认为对其满意度(实际感受值)的测量可以作为北京奥运及筹备期间产生社会经济效益的重要衡量标准之一。借鉴国外相关文献对用户满意度的评量方式，结合奥运气象服务特点，提出北京奥运气象及演练期间的气象服务的用户满意度综合指数体系主要包括：是否了解和满足用户的需求、预报发布时间和时效、用户对气象服务所产生社会经济效益的判断，奥运气象服务手册、用户手册和网站等服务和宣传手段，服务人员能力(专业知识、沟通能力、英语能力等)、针对不同预报要素(温、压、湿、风等)的预报准确度、作为用户的未来意向(赛后是否继续使用气象预报产品和实况资料)以及对气象部门的整体印象(对气象部门努力的认可程度，气象部门知名度以及公众形象)等。并且首次提出CSIWS(Customer Satisfaction Index of Weather Service)模型，以上述综合指标体系来衡量用户群对气象信息服务的满意度，定量评估所产生的社会经济效益，进而发现目前奥运气象信息服务中存在问题和进一步改善的契机。

2 社会经济效益评估的思路和方法

本文将综合应用定性研究和定量研究相结合的思路，应用问卷调查取样、深度访谈、模型构建和指数计算分析等多种方法，获得并分析他们反馈的有效信息，对其质量做出的主观评价后，再经过数学模型计算出来的。其中，定性研究出发点是“整个人”，所关心的是各类主体与奥运气象服务这个特定事件的关系；定量研究着重计算做某事或者说某类观点的人数，强调样本的大小以及样本的代表性，可以用统计学测试方法评价数字的准确性。

2.1 奥运气象服务用户满意度的测评流程

由于用户满意度测量的是用户对气象服务的看法、偏好和态度，所使用方法大多是定性分析和定量分析相结合，以前者为主，需要用数字来量化用户对测评对象的评价以及用户的特征，测评对象的量化采用的是态度测量技术。一般而言，用户满意度的测评工作需要经过细分不同用户、确定调查对象，识别用户满意的关键因素、确定评价指标，试问卷设计以及试调查，实施调查、收集汇总、分析评价，发现问题，持续改进等几个步骤，流程如图 1所示。

2.2 社会经济调查问卷的设计原则

此次奥运气象信息服务满意度社会调查问卷表的设计，除了主要遵循国际标准的调查问卷设计原则(为被调查者保密，制定被调查者知情声明，确定被调查者的权利和责任，以保证调查的合法性)以外，还有：

(1) 为了将定性数据进行量化，测量量表的设计主要采用国际上较通用的Likert测量量表来衡量用户对态度测量的研究。将对用户满意度的测量转化为对用户态度的测量，可以替代语义差别满意量表，提高满意度调查数据的质量。

(2) 所有问题答案均采用5个等级的测度方式，一方面是为了5级量表测度便于在量化处理的时候，根据需要将各个等级赋予不同的分值，对大部分问题而言，是将5个等级的分值按由高到低的顺序分别定为5、4、3、2、1；另一方面在问题设置上主要基于行为经济学理论，即在实际生活中，人的思维方式多种多样，人不都是理性的。

(3) 确定了访谈和调查的主要方式：一种是结构性访谈，即事先设计精心策划过的调查表，请调查对象对事先设计好的一组问题逐一进行回答；另一种是问卷调查中结合深度访谈，主要通过设定开放式不断深入的题目对高端用户进行访谈，获得服务中存在的问题类型和用户的深切感受。其中以第一种方式为主。

(4) 进行问卷前测试调查，观察被调查者的反映，记录调查中出现的问题以及整个过程的时间分配。调查完成以后进行信度和效度检验，剔除贡献低的问题，对调查问卷再次调整。通过反复测试和调整，发现问题、持续改进后，获得最终正式调查问卷。

2.3 CSIWS测量模型的构建

自1989年瑞典建立起世界上第一个国家用户满意度指数(Customer Satisfaction Index, CSI)，CSI风行世界，国外实践证明，CSI从用户角度出发，测量经济产出究竟在多大程度上满足了用户的需求，在宏观上是对现有经济指标体系的一个重要补充，在微观上也对企业的经验决策极具参考价值。这里提出了天气服务用户满意度指数CSIWS (Customer Satisfaction Index of Weather Service)模型(见图 2)。CSIWS模型试图描述高端用户满意感产生的过程，以气象产品、服务质量、服务人员能力、整体的表现等多重项目，来定量评估这些高端用户群对气象信息服务的期望程度和满意程度，最终计算结果以满意度指数形式来表现。

2006年第11届世界女子垒球锦标赛气象信息服务质量与用户满意度问卷调查于9月27—2 8日两天进行。事先确定了此次访谈和调查的高端用户：北京奥组委BOCOG官员，国际垒联、女垒世锦赛组委会的官员和管理人员等。在丰台垒球中心女垒世锦赛现场共访谈了全部23名BOCOG官员中的16位，访谈样本数量占总数约70%，包括国际垒球联合会(ISF)裁判长、场馆常务副主任和运行秘书长等BOCOG高层人士，因此该社会调查问卷仍能充分反映出BOCOG官员对于气象服务的深切感受。通过他们认真填写的问卷、对于访谈人员在问卷之外所提问题的回答，获得了很丰富的信息。下面通过数学模型计算用户满意指数，并结合他们一些主观评价和建议进一步分析。

3 用户满意度计算方法

对用户满意度的计算主要依据设计问卷中所调查的22个基础指标，根据用户对各项基础指标的满意度进行计算。假设有K_i个用户，则第K_i(i=1, …, 16)个用户对这22个基础指标的期望度和满意度分别为：

其中X_ij为第K_i(i=1, …, 16)个用户对第j(j=1，…22)个基础指标的期望度，X_ij∈1…5)；其中Y_ij为第K_i(i=1, …, 16)个用户对第j(j=1，…22)个基础指标的满意度，Y_ij∈1…5)。这样，所有用户的期望度和满意度为：

这样就得出了每一个用户对每一项基础指标、所有用户对每一项指标的期望度和满意度。这种评价比较全面，而且对每一个用户的评价的好坏也有所比较。

4 奥运CSIWS分析结果

本次社会调查问卷共由22条问题组成，每条问题代表一项基础指标，综合整理所得到的最终有效问卷，对这些基础指标进行梳理和分类，总共归类为8类综合指标，分别为：把问题2.1 ~2.2归类为综合指标1：即是否了解和满足用户的需求；把问题2.3~2.4归类为综合指标2：预报发布时间和时效；把问题2.5归类为综合指标3：用户对气象服务所产生社会经济效益的打分；把问题2.6~2.7归类为综合指标4：奥运气象服务手册、用户手册和网站等服务和宣传手段；把问题2.8~2.9归类为综合指标5：服务人员能力(专业知识、沟通能力、英语能力等)；把问题2.10~2.17归类为综合指标6：针对不同预报要素(温、压、湿、风等)的预报准确度；把问题2.18~2.19归类为综合指标7：作为用户的未来意向(是否继续使用气象预报产品和实况资料)；把问题2.20~2.22归类为综合指标8：对于气象部门的整体印象(气象部门的知名度以及公众形象，如气象主持人等)。其中每类综合指标的期望度和满意度得分都用加权平均的方法获得。

表 3为通过这次调查所得的用户对各项服务的期望度和满意度的评价，表中的期望度和满意度得分都是经过加权平均以后，按照期望度和满意度的差距由小到大进行排列的得分情况。

5 结论

分析评估结果发现：第一, 对气象部门的整体印象分最高，分析结果显示用户期望度与满意度之间差距为零，均为67，反映了气象部门良好声誉和公众形象；第二, 对现场气象服务人员和常驻BOCOG服务人员的能力和素质比较肯定，期望值(76)与满意度(71)差距为5；第三, 对于气象信息发布时间和时效，期望值(79)与满意度(72)之间需要努力的差距为7；第四, 对于气象要素预报准确度，期望值(75)与满意度(67)之间需要努力的差距为8；第五, 对于此次赛事完后，是否继续使用气象数据或者气象信息的未来意向，期望值(72)与满意度(63)之间差距为9；第六, 用户认为气象信息服务所产生的社会效益，期望值(74)与满意度(64)，之间需要努力的差距为10；第七, 对于是否了解和满足用户的需求，期望值(79)与满意度(68)之间需要努力的差距为11。这从用户的角度客观地反映出在了解他们需求方面的不足, 或者说，在挖掘用户需求和帮助用户发现气象与体育赛事之间的需求方面还需要下力气；第八，对于气象部门所提供的服务和宣传手段，期望值(77)与满意度(56)之间差距为21。这项工作与用户期望度差距最大，用户反馈奥运气象宣传手册或用户服务指南目前还没有看到，奥运气象网站的宣传还不够。在未来不到两年的时间里，还需要广为宣传、加强市场渗透、努力提高点击率，使北京奥运气象网站更广为人知，同时网站需要制作得更专业、信息更丰富些。

另外，调查小组也通过高端访谈试图了解影响世垒赛的天气阈值，发现垒球比赛对于降水、大风(将影响球速和飞行方向)、雷暴、高温等天气都比较敏感，但是对垒球赛场裁判而言，却并不明了气象部门所发布的降水量级，他们认为哪怕是毛毛雨量级的降水，只要垒球无法被擦干或者场地积水影响了球的滚动，比赛就得取消或暂停。可见，影响大型体育赛事天气阈值设定并不完全能以气象部门所界定的天气等级为转移，而是切实影响比赛赛程安排和成绩的天气。同时还发现安全奥运气象风险意识亟待加强。

这项评估工作预计将进行一个时间跨度大约为2~3年的纵向研究，由三轮位于不同时间点的深度访谈组成：分别在2006年、2007年和2008年奥运期间。其中，20 06年的分析结果可以作为基期数据。

致谢：本文在完成调查问卷时得到李晓艳和季崇萍等人帮助，表示感谢！