1、基于并行计算的气溶胶定量遥感反演模型实现图文第29卷第6期 2009年6月计算机应用Journal of Computer ApplicationsV01.29No.6 June 2009文章编号:10019081(200906166504基于并行计算的气溶胶定量遥感反演模型实现郭建平1,肖华东2,刘昭华3,曹春香4,张 颢4,光 洁4。(I.中国气象科学研究院大气成分观测与服务中心。北京100081;2.国家气象信息中心计算机室,北京100081;3.江西理工大学建筑与测绘J=程学院,江西赣州341000;4.中国科学院遥感应用研究所,北京100101(xiaohd;jpguola.gov.
2、ca摘要:为了加快气溶胶光学厚度(AOD反演计算速度,基于SYNTAM串行算法,提出了循环分块划分和聚合通 信的策略,利用消息传递模型,在中国气象局的IBM Cluster 1600高性能计算机系统上,并行实现了从MODIS双星 (TERRA和AQUA卫星数据反演AOD。试验结果表明该方法大大减少了计算时问,与地面太阳光度计实测AOD数 据进行对比验证。发现所有站点处的AOD反演相对误差小于22%,表明这种并行方法可以满足高精度监测空气质量 要求。关键词:气溶胶光学厚度;并行计算;循环分块;消息传递接口中图分类号:TP722.4文献标志码:AParallel implementation of
3、 aerosol optical depth retrieval algorithmGUO Jian.pin91,XIAO Huadon92,LIU Zhaohua3,CAO Chunxian94,ZHANG Ha04,GUANG Jie4 (1.Centerfor Atmosphere Watch and Service,Chinese Academy ofMeteorological Sciences,Beifing 10081,China;2.National Meteorological Information Center,Beijing 10081,China;3.School o
4、f Construction and Surveying Engincering,Jiangxi University of Science and Technology,Ganzhou Jiangxi 341000,China;4.Institute ofRemote Scnsing Applications,Chinese Academy ofSciences,Beiiing 100101,ChinaAbstract:To speed up the computation of the retrieval of Aerosol Optical Depth(AOD,a cyclic part
5、ition and collective communication stImeg,based on serial computation algorithm of Synergy of TERRA/MODIS and AQUA/MODIS(SYNTAM WaS proposed to archive parallel computation of AOD retrieval from the both Moderate Resolution Imaging Spectroradiometer (MODISsatellite(TERRA,AQUAdata by message passing
6、on the IBM cluster 1600high performance compute of ChineseMeteorological Administration.Experimental results demonstrate that tfle parallel SYNTAM Can decreasecomputation timegreatly.Compared with measurements from groundbased sunphotometers,the relative error of experiment results from the parallel
7、 SYNTAM is less than 22%in call cases,indicating thatit can meet the needs of hi曲accuracy such as air quality monitoring.Key words:Aerosol Optical Depth(AOD;parallel computation;cyclic partitioning;Message Passing Interface(MPI0引言气溶胶光学厚度(Aerosol Optical Depth,AOD是一个重 要的地球物理参数,在很大程度上可以指示空气质量。由于 具有全球覆
8、盖和固定的重访周期的特性,卫星遥感可为AOD 的遥感反演提供了一个可靠支撑。在反演陆地下垫面气溶胶的过程中,被动式卫星遥感数 据的使用在很大程度上依赖于精确的地面反射率先验知识的 获取。NASA(美国国家航天局AOD业务算法所采用的 DDV算法即从MODIS卫星图像上反演10km分辨率的AOD 产品,该方法具有较高精度。但是,DDV往往要求下垫面 具有较低的反射率,如水体、植被等均符合该要求。而沙漠、 海岸带、干旱地区和城市等人为源气溶胶源区,该方法就不能 很好地发挥作用了,可以说DDV算法对高反射率下垫面或雪 覆盖地区无能为力拉。现在通常利用文献3提出的DEEP BLUE算法来反演亮目标区比
9、如城市、沙漠的气溶胶光学属 性,作为DDV算法的有力补充。与单角度卫星传感器不同,多角度成像辐射计大大增强 了我们从遥感数字信号中分离地气相应贡献的能力,这将极 大地增加AOD反演精度。自20世纪90年代开始,人们就试 图利用这种辐射计来反演AOD,文献4对多角度卫星遥感 反演AOD算法做了大量尝试。后来,顺航迹辐射计(ATSR 的双角度遥感影像数据亦被用来成功反演AODD J,作为 ATSR的延续,ATSR-2以及先进沿轨扫描辐射计(AATSR都 获得了成功应用。一些新型的多角度传感器,比如:多角度成 像分光辐射计(MISR1和地球反射率偏振和方向观测仪 (POLDER传感器也得到了广泛地应
10、用【71。上述算法大多依赖于先验知识建立的查找表(Look-Up Table,LUT来加速AOD的数值求解。为了说明AOD中不 确定部分,LUT通常假设几种主要大气成分如水汽或者臭氧 在给定时间内不变。LUT通常利用6s(Second Simulation of the Satellite Signal in the Solar Spectrum或MODTRAN收稿日期:2008一1225;修回日期:200903一03。基金项目:围家973计划项目(2007CB714407;07￥00502cx;中央公益性基本科研业务专项项目(20007Y001。作者简介:郭建平(1978一,男,江西吉安人,
11、助理研究员,博士,主要研究方向:气溶胶遥感定量反演研究、并行计算; 肖华东(1980一。 男,湖北黄冈人,工程师,主要研究方向:并行计算;刘昭华(1977一,男,山西运城人,讲师,硕士,主要研究方向:定量遥感、高性能地学计算; 曹春香(1964一,女,内蒙古呼和浩特人,研究员,博士,主要研究方向,环境遥感;张颢(1974一,男,陕西西安人,博士,主要研究方向:定量 遥感;光洁(1982一,女,安徽安庆人,博士研究生,主要研究方向:大气遥感。万方数据1666计算机应用 第29卷(MODerate resolution atmospheric TRANsmittance and radiance
12、等辐射传输模型建立,这往往涉及到上几何量级的数值计算, 这种计算量在普通的PC机上是无法及时完成的。这对于空 气质量监测(主要通过卫星遥感AOD的实时性要求提出了 极大的挑战。幸运的是,在众多的高性能计算方法中,并行计 算是一种比较有前途的方法,它具有大大减少计算时间的潜 力。并行计算通常被认为是计算的高端,主要应用于复杂系 统和巨大挑战问题的数值模拟,比如:气候建模,空气质量监 测与建模等。在遥感领域科学家们已经开发了众多的并行算法,并得 到了成功而广泛的应用。比如:众多的高光谱图像并行处理 算法,其中涉及到大量的空间和光谱信息的计算“。尽管 遥感应用中的大气校正日益得到关注,但讨论其并行算
13、法的 实现的文献却很少。比如:文献12开发的一种利用TM (Thematic Mapper遥感数据估算AOD的快速并行算法。 PC版本SYNTAM串行算法的一个主要不足就是计算时 间长,如利用一台配置了2.0GHz CPU和512MB内存的PC 机从一幅1km分辨率的50005000图像上反演AOD需要 几天的时间。考虑到并行计算的效率和快速处理能力,AOD 的并行反演算法可能成为气溶胶遥感监测的一种通用技术。 在文献13中已经初步讨论了通过分块技术实现 SYNTAM【14的并行改造。本文慕于Pc版SYNTAM串行算 法,将提出一种新的AOD并行反演算法,它利用循环分块划 分和聚合通信技术,并
14、在中国气象局的IBM System 1600 Cluster集群系统上得到了成功应用。l SYNTAM算法卫星传感器所获得的辐射经常受到气体分子、大气气溶 胶颗粒物的影响。这也使得确定气溶胶对大气辐射总量的贡 献和利用遥感方法确定大气中的气溶胶含量皆成可能。但是 利用卫星遥感影像反演AOD的一个关键问题是区分气溶胶 散射与地表辐射对总辐射量的贡献,目前已有多种数学物理 方法来对二者进行区分u“,SYNTAM算法即是一个典型代 表。在SYNTAM算法中,仅考虑大气中的短波辐射传输。文 献16提出的算法主要解决了非偏振的吸收、散射和辐射传 输,而文献【17为了从AVHRR数据中获取表面反射率,进一
15、 步简化了该辐射传输方程。新型传感器如MODIS具有多个 多可见光波段观测能力和较短的重访周期特性,使得实时反 演气溶胶光学厚度成为可能。在TERRA和AQUA卫星过境的约3个小时时间间隔内, 基于地表的双向反射率和气溶胶类型不变两点假设,得到: =(Aj,Aib一吩+q(14e(aj“m懈枞r4瑚+掣“吖 (Aj,itb一吩+6(1一Aj,Aiteaj-be(O.079AF4.09+即产”吩7 (1 式中各符号意义参见文献14。再利用Broyden法183进行 数值拟合,可以求解式(1中相应的波长指数和浊度系数,进 而可算出MODIS 470,550和660啪等三个可见光波段处的 AOD。基
16、于SYNTAM串行算法和1km分辨率的MODIS图像反 演一次覆盖中国内地区域的AOD,首先需准备大约2GB的14个预先计算的波段辐射文件,且中间计算(包括辐射和几 何校正过程又产生大量的数据。因此,PC机上反演AOD需 要很长的时间,只有通过并行方法来加速AOD反演,才能使 得该算法具有现实意义。在本文下一部分将讨论SYNTAM 算法的并行化实现。2并行算法SYNTAM算法涉及到大鼍数据的数值计算,计算密集且 耗时,但计算过程具有像素级并行能力,即每个像素的AOD 反演过程可以独立执行。因此,SYNTAM可以很好的实现并 行化改造。为了从MODIS图像中反演AOD,必须满足下列条件:首 先,
17、线性的SYNTAM算法能够在不同的处理器上执行,即对 处理器个数具有很大的伸缩性。第二,为了有效地实现并行, 必须考虑负载平衡问题,这主要通过对MODIS图像的等大小 分块来实现。最后,AOD的反演过程是完全相互独立的,即 不同处理器之间没有通信发生(除数据广播外。如果上述 条件满足,就可以在采用消息传递接口在单指令流多数据流 模型的并行集群上实现SYNTAM算法的并行化。在这种结 构中,每个处理器上执行相同的SYNTAM代码,但是处理不 同的MODIS图像块。MPI模型是一种最重要的并行编程工 具,具有处理器之间的消息传递功能。考虑到在利用卫星影像反演AOD过程的系统内存限制, 该并行算法通
18、过一种有效的数据划分和处理器间的任务映 射,实现最小化处理器间的通信和处理器的I/0通信。通过空间域的循环分块可以有效解决内存限制,并获得 较好的负载平衡。如我们把乃(I/P的计算任务分配到每 个计算节点,其中n表示总的计算任务量,P表示计算节点个 数。循环分块的目的是为了最小化处理器间的通信,最大化负 载平衡。具体过程如下:首先,把任务域的二维分布转化为一维分布。这种转化 可以通过循环的形式来执行,即为每个处理器分配相同的时 间片来确保负载平衡。然后在一维空间内进行循环分块,最 后保证每个子块包含相同数目的计算任务,除非在子块内存 在云覆盖的像素,通过一些阈值避免这些像素参与复杂的数 值计算
19、。这一问题将在本文的第4章进行详细论述。图1为SYNTAM算法的并行实现过程,表示将一个长度 为12的向量分别映射到4(图1(a和5(图1(b个节点上 执行AOD反演的情况。ll-I l 5926lOpo p1见 p3I 6i io I l 6112738Ii i !Po Pl P2Ps P4(b图1数据分割示意图下面以对一个长度为M的向量y进行SYNTAM算法的 并行设计为例,一维循环分块的AOD反演并行实现过程如下 (其中myid为计算节点,nprocs为节点个数:1 初始化;2 广播或分发数据给处理器/节点;3 formd=1to aprocs 4 计算V(myia万方数据第6期 郭建平
20、等:基于并行计算的气溶胶定量遥感反演模型实现 166751my/d=my/d+l6 计算结束7 收集计算结果,并组合、转换到相同的单位8 以文本和图的形式输出AOD需要强调的是,在SYNTAM并行算法中,AOD的计算不存在处理器之间的通信,通信只发生在输入数据的分发和计算结果的收集。3并行反演试验我们在中国气象局的IBM System Cluster 1600集群系统上进行并行反演试验,该集群系统由IBM SP Power4+,eServer pSeries 655(1.7GHz Power4+/Federation组成,每个p655节点有8个处理器,共3200个处理器,为大规模计算问题提供了
21、AIX或Linux的解决方案。该系统通常采用一种集群系统管理软件(CSM来管理,对一维分块和MPI,通常选择AIX 5.3操作系统和LoadLeveler来优化资源利用与输出。为了证明SYNTAM并行算法的有效性,我们以2002年12月12日10:30获取的覆盖全国陆地下垫面的TERRA/MODIS和AQUA/MODIS影像遥感反演AOD为例。依据本文第1章所描述的SYNTAM算法的要求,采用TERRA/MODIS和AQUA/MODIS的1,2,3,4,7波段的数据(其中第1、2波段空间分辨率为250m,第3、4、7波段为500m的数据作为输入数据。并在处理前,重采样到1km。试验采用Albe
22、m等面积投影,大约有4500x4000个像素需要并行计算。并在数值计算前提出被云覆盖的像素,因为这些像素大大的影响着负载平衡,最终影响并行算法的性能。利用SYNTAM并行算法反演AOD的工作流程如图2所示。除MODIS影像几何和辐射校正外,所有步骤均在中国气象局的IBM 1600集群系统上执行。IBM System 1600Cluster MODIS/Terra,MODIS/AquaLIB遥感影像数据几何校正、辐射校正云、水体判主处理器初始化二二工二数据广播二二工二二数据划分=二工二二副处理器计算T一俪磊藁酚AOD反演结果(440rim,550rim,670nmSYNTAM 并行实现代码图2利
23、用SYNTAM并行算法反演AOD流程考虑到系统的特殊性,首先需要明确几个相关概念。加 速比(Speedup是并行计算系统中一个经常使用的性能评价 指标。加速比的定义如下:S。=7/T(P (3 其中r表示在单个处理器上线性算法的处理时间,r(p表示 在P个处理器上并行算法的处理时间。并行效率(EfficiencyE可以表示为:q=s,/p (4 4试验结果与分析图3显示了第3章所描述的不同节点数AOD并行反演 算法的所需的计算时间。很明显,随着集群系统中所使用的 计算节点数的不同,计算时间会发生显著变化。图3还表明 在计算节点从l增加到32个的过程中,处理时间是与计算节 点个数成线性关系下降的
24、。但节点个数超过16个,计算时间 下降缓慢,这意味着16个计算节点可能最优。节点数图3利用并行SYNTAM反演算法全国陆地下垫面AOD计算时间 表1进一步证明了利用并行算法可以有效的降低计算时 间,比如利用32个节点需要l 738s,而在单处理器上串行处 理则需要39个小时。而且,随着处理器个数的增加,加速比 成线性提高(假定处理节点不超过16个,这表明SYNTAM 并行算法具有很好的伸缩性。但在32个节点是,加速比增长 缓慢,这主要是由于硬件的限制,比如:CPU带宽、网络通信 等。或者最有町能的是由于包含云覆盖像素的不参与计算造 成的负载不平衡。表1并行SYNTAM算法基于不同计算节点的计算
25、性能图4显示了稳定状态下,随着处理节点的增加,并行执行 效率和加速比的趋势。加速比增幅趋缓,而并行效率则逐渐 下降。节点数图4SYNTAM并行算法的计算效率和加速比如图5所示为利用SYNTAM并行算法得到的AOD计算 结果。由图可知AOD的空间分布,并可作为初始场用于空气 质量建模预报空气污染。, 厦莒琳#得较犯犏万方数据1668计算机应用 第29卷图5基于MODIS影像反演AOD的结果为了验证SYNTAM算法的并行计算精度,我们收集了与 MODIS过境时匹配的中国气象局气溶胶监测网多个观测站 获取的太阳光度计实测AOD,并进行了对比(详见表2。由 于中国气象局气溶胶监测网仅装备了三个常用波段
26、的太阳光 度计,因此470nm和550nln的AOD值需要利用文献19所 提出的方法进行插值计算得到。波长为550nm的AOD反演 相对误差如表2所示,最大误差值为17%。初步反演结果表 明这种并行算法在气溶胶遥感监测可行性非常强,但是在今 后的研究工作中需要进一步提高AOD反演的自动化水平和 精度。表2利用地面观测AOD对SYNTAM并行算法反演结果验证5结语本文所描述的SYNTAM并行算法基于MPI和循环分块 实现。通过一个个例反演试验。证明该算法是一种有效的陆地 下垫面AOD反演方法。不同数目计算节点的试验表明,该算法具有很强的伸缩 性,而且能够最小化处理器间通信,同时最大化负载平衡。同
27、 时,与串行算法相比,SYNTAM并行算法能够达到降低AOD 反演时间,具有近似线性的加速比的目标。循环分块极大地 提高了AOD计算的并行效率,即意味着在试验中达到了最优 的负载平衡。结果表明SYNTAM并行算法具有较高的性能,因此可以 说将来AOD的近实时自动反演具有很好的前景,如其实时 AOD产品可以广泛地应用空气质量模型和气候模式。参考文献:【l】 REMER L A,KAUFMAN Y J,TANRE D,et a1.The MODIS ecro-sol algorithm,products,and validation【J1.Journal of the Atmos pheric S
28、ciences,2005,62(4:947-973.【2】 ENGELCOX J A,HOLLOMAN C H,COUTANT B W,et a/. Qualitative and quantitative evaluation of MODIS satellite sen￥or da-ta for m舀onal and urban scale air quality【J】.Atmospheric Envi ronment,2004,38(16:24952509.【3】HSU N C,TSAY S C,KING M D,et a1.Aerosol properties over briSht
29、reflecting louise唧ons【J】.1EEE Transactions on Geoeci ence and Remote Sensing,2004,42(33:557-569.【4J MARTONCHIK JDINER D.Retrieval of aerosol optical propertiesfrom multiangle satellite imagery【J 1.IEEE Transactions on Geo-science and Remote Sensing,1992,30(22:223230.【5】 GREY W M F。NORTH P R J,LOS S
30、0.Computationally efficient method forretrieving aerosol optical depthfrom ATSR-2and AATSR data f J】.Applied Optics,2006,45(12:27862795.【6】DINER D J,ABDOU W A,CONEL J E,et a1.MISR aerosol睁 trievals over southero Africa during the SAFARI-2000dry season campaign【J】.Geophysical Research Letters,2001,28
31、(16:31273130.【7】DEUZE J L,HERMAN M,GOLOUB P,et a/.Characterization of aerosols over ocean from POLDERJADEOS.1【J】.Geophysical Re search Letters,1999,26(10:14211424.【8】 CHANG C I.Hyperspectral imaging:Techniques for spectral detec tion and classification【M】.New York:Kluwer,2003.【9】PLAZA A,PL忆A J,VALEN
32、CIA D,et a/.AMEEPAR:Parallel morphological algorithm for hyperspeetral image classification in bet erogeneous networks of workstations【EB/OL】.【2008一lOlO】. http:/www.umbc. edu/rssipl/people/aplaza/Papers/Joumala/ 2006.LNCS.Ameepar.pdf.【101PI.AzA A,VALENCIA D,PLAZA J,et a/.Commodity cluster-based parallel pro
