1、第三方数据交换平台方案v114江苏省第三方数据交换平台设计说明书文件编号TH-DEP-TD-01文件状态草稿 正式发布 正在修改当前版本1.1拟 制党辉、蒋烨、朱曙锴、顾小明日期2012-08-03审 核党辉日期2012-08-06批 准周志敏日期2012-08-09修订历史记录A - 增加M - 修订D - 删除变更版本号日期变更类型（A*M*D）修改人摘要V1.0A党辉、蒋烨根据原始需求文档和2012年3月若干讨论会意见形成初步技术方案V1.1A朱曙锴、顾小明根据2012年7月24日演示讨论会及后续讨论会意见对文档进行内容增加V1.13M党辉修改和校订1. 引言1.1 编写目的根据江苏地税
2、第三方数据交换平台系统需求思路以及多次需求和技术讨论会，特别是3月份和7月份演示讨论会后，依据省局领导的意见，形成该三方数据交换平台的技术设计说明书。该文档把三方数据交互平台的技术和功能方面的设计，通过文字和图表明确的表述出来，以供领导审阅。同时，也依据该设计文档，进行下一步的设计和开发工作。1.2背景根据省局关于委托常州地方税务局开发“第三方数据交换平台项目”的通知的要求，立足于全省地税系统应用和管理的实际情况，开发建设具有通用性、适应性强的数据交换平台。该平台是支撑税源专业改革新模式的重要数据平台，为风险管理平台和日常税源监控及税收分析提供了强大的第三方信息库。该平台的开发立足于第三方信息
3、进得来、管得住、整合得好，为风险平台的后期数据应用及其它业务需求提供可靠的信息源，为税源专业化改革的深化推进提供重要的支撑平台。1.3 术语与缩写解释缩写、术语解 释ETLExtract,transform and load. 数据处理的三个环节：抽取、转换与装载。MVCModel,view and controller. 一种系统设计的常用模式：模型、视图、控制器。IOCInversion of control. 控制反转，面向对象设计的一种模式。AOPAspect Oriented Programming. 面向切面编程，软件设计的一种方法。RPCRemote procedure call
4、. 远程过程调用，一种协议和程序调用方式，使得远程程序的调用跟本地程序调用在调用者角度没有差异。1.4 参考资料江苏地税第三方数据交换平台系统需求思路2. 概要设计2.1 平台设计与定位2.1.1 概述从核心数据处理功能来讲，三方数据交换平台设计实现为一个数据ETL（Extract Transform Load）平台，该平台首先从定义好的第三方数据源抽取（Extract）数据，然后经过转换（Transform）处理进入平台系统，最后通过一定的技术手段装载（Load）为可以直接应用的数据，如下图所示。数据ETL过程图三方数据交换平台是一个专注于数据处理的技术平台，它将提供丰富的数据导入、处理和应
5、用方式，充分考虑多种应用场合，实现方便的定制功能，使得操作人员在数据处理层面上有多种多样的选择方式，可以根据不同数据来源和去向定制各异的数据导入、加工与应用规则。三方数据交换平台也是一个相对独立的系统，它与其它系统之间没有业务上的直接耦合关系，对外它只提供数据的输入接口和输出接口，仅仅是数据的采集和提供者。所有的数据业务关系，是通过平台的使用人员通过不同的数据处理规则去定制实现的。在这种机制下，业务规则不是固化在平台实现里，从而提供了极大的灵活性，增强了系统的可使用性。下面的三方数据交换平台示意图比较直观的显示了上述内容。三方数据交换平台示意图 通俗来讲，三方数据交换平台可以视作一个数据加工厂
6、和数据流桥梁。原始的三方数据相当于原料，原料进工厂（数据导入）以后，经过加工过程（数据加工），成为可以发售的产品（可以应用的数据）。除了数据工厂作用以外，它还是数据流环节中的一个桥梁，通过这个桥梁，数据可以在不同的应用系统之间进行流动。2.1.2 与现有信息系统的关系 三方数据交换平台建设的初衷不是一个孤立的系统，它是为了加工处理数据，进而为其他系统服务的。在现阶段，可以预见的跟它有数据关系的系统包括政府公共信息网、省地等级别的相关数据系统（国税、工商、供电、供水、社保、国土等等）以及地税内部现存的信息系统，包括大集中系统、风险管理平台等。三方数据交换平台系统在这样一种关系网络中，处于中间地位
7、，通过该平台的建设，打通数据在现有的这些系统之间的流动路径，使得原本孤立的这些信息孤岛能够连成一片，实现信息数据的共享和应用。它是各个系统之间的纽带，为建设综合治税这样的大概念平台打下了坚实的基础。三方数据交换平台关系示意图 因为现存的系统各种各样，对外的接口也不尽然相同，所以为了尽可能多的适应当前系统，在对当前系统对外接口不做过多的改变的前提下（事实上，要对现有系统接口做修改在很多情况下没有太大的可行性），三方数据交换平台将会提供多种形式的数据输入接口和输出接口，这在后续将会详细讲述。 因为当前需要接入的系统就很多，业务规则也千差万别，未来也可能有更多的系统接入，所以三方数据交换平台不可能一
8、开始就设计好与其它系统之间的业务关系，否则接入一个新的系统，平台就要做相应修改，这个工作量是不可想象的。所以，三方数据交换平台设计为和其它系统之间并没有直接的业务耦合关系，它只是提供了多种多样的数据处理规则和方式，让平台系统的操作人员去动态的定制，这样间接的实现了业务规则的转换，从而为多种不同业务系统的接入，提供了可能性。站在其它系统的角度来看，三方数据交换平台仅仅提供了数据的输入和输出接口。从三方数据交换平台内部来看，它提供了多种多样的数据处理规则，通过这些规则的灵活定制，实现了数据的业务处理。2.2 硬件与网络2.2.1 核心硬件和网络核心硬件与网络是指本系统在税务系统内部的硬件与网络部分
9、。从宏观来讲，该平台是一个分布式系统，由地理位置上分离的各个数据交换平台软硬件系统节点组成。从单个数据交换平台软硬件系统节点来看，它又是一个自成体系的系统。所以，网络和硬件的设计也必须按照数据交换业务的实际需求来设计，实现互联和安全访问。对于部署在不同地理位置的数据交换平台软硬件系统，称之为节点。从上下级关系来看，系统的部署可以分为多个级次，每一级次都是由一个到多个节点组成。例如，在省、市两级进行部署，省、市分别为部署在本地的数据交换平台软件系统准备合适的硬件平台和网络环境。另外，在网络结构上，具有上下级关系的节点之间的能实现相互访问，而同级节点之间，则不一定需要直接进行相互访问这样的功能。在
10、这一级别上，可以采用专网、防火墙等技术实现该平台所需的分布式网络。2.2.2 外围硬件与网络外围硬件与网络是指和第三方数据源直接有干系的硬件和网络。因为第三方数据源的情况现在并不明朗，只有到具体接入实施的时候，才会知道具体的情况。所以，为了考虑兼容和接入不同的三方数据源，网络接口的设计也需要具有比较大的灵活性。关于外围硬件与网络，需要在几个不同的方面加以说明。首先，在通信的发起上，分为主动和被动方式。主动方式是指核心网络主动去访问第三方数据源，这一形式只能在第三方数据源提供了网络连接支持，并开放了访问权限的前提下，才能实现，那么这需要第三方数据源提供接口主机并保证数据安全传输的前提下，以专网或
11、公网为传输媒介进行通信。被动方式是指在核心网络的外围，提供可以访问的接口主机，提供多种可以访问的手段，让第三方数据源主动发起数据通信。其次，在网络的接口和互联上可能有多种形式，包括直接互联走专网的方式以及在公网上间接提供接口主机的形式。那么接口主机可能位于核心网络，也可能位于第三方数据源，这要看通信由谁发起来决定。2.2.3 网络互联的安全因为数据交互牵涉到大量的保密数据的交换，所以在硬件互联层面上，安全性也是非常核心的一环。在本系统设计和部署的时候，将严格按照地税和相关其它部门的安全规范和规定，确保万无一失。另外一点就是，本系统只部署在安全网络环境内，不考虑直接通过Internet和第三方数
12、据源进行交互，系统可以提供间接的方式，例如对外的Web上传界面，Ftp等，实现数据的采集，采集的数据通过异步方式转移到核心系统内。2.2.4 节点部署说明如下图所示，该数据交换平台系统在宏观上由部署在不同地理位置的多个节点组成，这些节点位于不同的层级，一个层级对应有一个到多个节点。所谓节点也就是在一定的地理位置实际部署的软硬件系统。层级分为省级和地市级，所有在地域行政级别相同的节点属于同一个层级，例如南京市与常州市的市级部署节点它都属于市一级的三方数据交换平台系统。节点部署只是一个宏观的概念，在实际部署中，对于要部署几层、多少节点，这个根据省局的安排和当地实际业务情况来进行。比如说一个区（县）
13、可以选择部署和不部署这样的数据交换平台系基于节点的网络部署图统。在不部署平台系统的情况下，它可以直接访问上级机构部署的节点，实现数据的交换和数据利用。当然这需要有一些前提条件：首先网络要互联；另外还需在上级机构的系统里进行用户设置和访问权限的设置。2.2.2 软件系统软件系统的主要包括操作系统平台、数据库管理系统、Web及应用服务器软件，以及需要接下来设计和开发完成数据导入、处理、应用的核心软件系统。这些软件系统根据需求，依据硬件和网络设置进行分布式部署。操作系统可以为Windows的服务器版本或者Linux的服务器版本，但是本着效率、稳定性等方面的考虑，推荐以Linux相关操作系统版本为主。
14、数据库软件以Oracle系列数据库管理系统来进行构建。Web服务器推荐使用Nginx高性能服务器，另外包括Tomcat等Java应用服务器以及所需要的Ftp服务器。以上的软件只需部署安装，按照系统实际运行所需进行相应的配置即可。真正完成数据交换的核心软件需要接下来开发完成。从宏观角度来看，它主要由后台数据自动化处理组件和Web操作控制系统及数据展现应用系统组成。 后台数据自动化处理组件将会被设计成后台自动运行的模式，通过提前定义好的标准接口以及标准业务处理规则，完成数据交换、处理以及生成可应用数据接口。在编程实现上，将会充分利用Java企业编程所提供的基础技术框架结合相关的数据库开发技术以及充
15、分考虑各种因素，实现最大程度上的数据自动化交换。Web操作控制系统和数据展现系统包含两部分内容，一部分是对数据交换过程进行操作和控制，它主要完成数据交换的过程管理。另一部分是数据展现应用系统，主要是把获取和处理好的数据，以各种形式展现出来，提供不同方式的展现形式，支持固定和可定制的信息查询。另外还提供可编程或非编程方式的数据访问接口。2.3 核心软件系统结构核心软件系统结构图如上图所示，以模块化分层的方式表述了数据交换系统的软件架构，从大的方面来讲，主要包含第三方数据源、数据接口层、传输控制层、数据处理层、交换数据库、数据应用接口和数据展现界面等分层模块。从2.2所述可以知道，软件系统由位于不
16、同层级的节点组成。但是从软件架构上来讲，部署在不同层级的软件系统，除了在上下级系统之间，具有不同的数据流的处理（数据的上传和下发），除此之外，各个节点的数据交换软件系统在软件架构上是一致的。2.3.2 第三方数据源第三方数据源是整个系统所要交换数据的原始采集地，由于各个数据源的情况差别很大，存在很大的不确定性，所以就要求系统要支持多种类别的数据源。在综合分析以后，确定系统支持以下一些方式的数据源：数据库直连、FTP方式，手工文本。数据库直连是信任度最高的一种数据源提供方式。假定第三方机构以某种方式，对其数据库访问，提供了一定权限的访问接口。在这样一种方式下，系统以事先约定好的访问规则，去对数据
17、源进行自动访问，实现数据的采集。FTP方式可能包括两种类型，一种是在数据接口层提供FTP服务器，以供第三方数据源的相关操作人员或自动运行的程序将所需交换的数据按事先约定好的文本格式，以一定的频率进行进行文件上传。另外一种方式是第三方数据源在其网络接口层提供可以访问的FTP服务器，本系统根据事先的约定，来完成FTP服务器的定时访问，获取到固定格式的文本数据。手工文本方式是指通过其它渠道，以人工方式获取到的固定格式的第三方数据，它文本方式存储。在这一层面，需要确定通信和数据采集的一些基本协议。例如，所要采集数据的格式、频率等。2.3.2 数据接口层数据接口层和第三方数据源示意图本层主要负责对外接口
18、，提供数据库访问程序、FTP数据访问程序，FTP服务器、WEB操作界面等具体功能来实现和第三方数据源的连接，实现数据的采集。数据库访问程序直接连接第三方数据源提供的数据库访问接口，按照接口协议，实现数据的直接读取。FTP服务器提供给第三方机构，使其可以按照访问协议，上传本系统所需数据。FTP数据访问程序连接第三方数据源提供的FTP服务器或者本系统FTP服务器，按照访问协议，获取数据并将其解析成可以利用的原始数据。WEB操作界面提供数据导入功能，可以实现格式化数据的导入。除了这些对外的功能性接口以外，本层还负责数据安全传输、数据有效性检测等。2.3.3 传输控制层传输控制层示意图传输控制层是实现
19、自动化数据采集的关键，它根据事先定义好的协议，去自动处理用户定制的数据采集任务，同时处理数据采集中产生的异常情况，并进行反馈和预警。自动数据采集采用监听任务脚本的方式去进行处理。首先，用户通过WEB界面去进行数据采集任务的定制，定制完成以后，会在后台形成一定格式的任务脚本的描述。其次，传输控制层得监听模块如果获取到了新增或修改过的任务描述脚本，则对脚本进行解析，按照脚本描述的规则，去驱动相应的程序模块进行通信，完成数据的自动化采集。另外，传输控制层还会反馈一些预警信息，比如定制的数据采集任务没有完成或者采集过程中发生了异常，传输控制层都会对此过程进行记录，通过WEB界面把预警信息反馈给用户。2
20、.3.4 数据处理层数据处理层示意图数据处理层实现了原始采集数据的存储以及数据的预处理等环节。原始数据以数据的原始结构进行保存，并记录操作时间，操作人员等信息。数据的处理包括宏观数据和微观数据的处理，宏观数据直接处理存储，微观数据则要和纳税户信息进行有效的关联，使其和地税户管建立对照表，进行自动匹配以及手工匹配。自动匹配建立在关联字段信息一致性上，根据一定规则进行匹配，通过程序遍历，来自动生成匹配数据自动装载到对照表中，包含的字段有税务管理码、纳税人名称、第三方唯一标识码、企业名称、主关联字段、次关联字段等。如果部分关联信息一致或没有一致的关联信息，则需要提供界面去进行手工匹配，手工操作后，该
21、部分数据也自动进入对照表。数据处理层除了需要制定完备的数据匹配规则以外，还需进行多重逻辑校验，实现一定的容错性，以最大可能来反映数据的准确性。2.3.5 交换数据库交换数据库是交换系统所有数据的存储地，包括系统初始化数据、系统管理数据、原始采集数据、预处理后的正式交换数据等。根据需求，数据库进行良好的设计。2.3.6 数据展现界面本层主要实现数据的展现，包括各种查询分析功能。主要有固定查询、自主定制组合查询、信息交换统计查询、单户明细信息查询、适用税种查询分析、交换数据质量跟踪监控情况查询、可利用数据信息查询等内容。2.3.7 数据应用接口本层提供编程与非编程数据接口，使得交换系统的最终数据，
22、可以为其它系统和部门所用。根据实际的需求情况，可考虑提供各种访问途径，例如：数据库直接访问方式、FTP文本数据共享、可编程远程接口、人工导出文本等。2.3.8 上下级系统数据共享本系统除了第三方数据交换功能以外，在级别上有省、市、县（区）三个级别，所以数据除了从本层第三方数据源进入本层交换系统以外，还可能存在数据的跨级别访问。比如，上级部门的交换数据可提供给下级部门进行展现和应用，而下级部门的数据交换情况，也可以提供给上级部门查看，比如提供数据交换总览图这样的功能，使得上级部门可以直接获知数据交换系统各个地方的部署实施情况等。上下级数据的共享可以考虑两种方式，一种是直接操作上级或下级的交换平台
23、系统，另外一种是提供数据的上传或下发，根据用户的实际需要，会同时提供两种方式。2.3.9 数据交换标准因为本系统可能会涉及到众多的第三方数据源，可能包含海量数据的交换处理与存储，而且数据的交换和处理环节也很多，所以为了更好的对数据进行交换和处理，使得数据最终能得到有效的利用，我们就需要制定各个环节的标准、规范和协议。而标准、规范、协议也是自动化数据处理的一个前提，否则很多环节必须通过人工干预才能进行。首先关于数据源的标准化，也就是本系统都支持哪些类型的数据源，某种特定的数据源都必须要提供哪些参数。比如，如果支持数据库直连方式，那么就需要确定IP地址、端口、数据库、表（视图，存储过程等）、字段等
24、参数，在用户进行数据采集任务定制的时候，如果选定了这种方式，那么上述所列的参数就必须提供。其次是数据格式的标准化。只有采集到标准格式的数据，才能被后续环节所自动化处理。在进行数据采集之前，必须要确定数据以什么样的载体存在，在载体中以什么样一种格式存在。比如以数据库直连方式，那么数据应该就是以数据库表的方式存在。如果是以文本方式，那么就必须确定是什么样的文本格式：自定义文本格式、csv、excel等。这个还可以继续延伸下去，比如自定义格式是怎样的自定义规则，数据字段间以什么样方式分隔，数据字段的名字采用什么样的存储方式等等。最后，是数据源和数据存储的标准化。因为采集的原始数据可能是多样性的，而这
25、样的原始数据是不能为后续的系统例如风险评估系统来应用的，所以在数据的预处理阶段必须遵循数据源和数据存储的标准化，使得处理过的正式数据可以被其它第三方系统所识别，从而成为真正可以利用的数据。系统将根据税务系统制定的数据源或数据存储标准，去建立数据源，包括表的命名、字段的命名、字段的类型、字段的含义。因为当前阶段标准化工作还在进行中，所以系统的设计上要考虑多种方式的标准化接入。现阶段可以预见到的有：标准以文档的方式提供；标准以可编程接口提供。在数据源建立或数据存储建立的时候，根据一定的关键字去查询该标准，如果有匹配的标准定义，则遵循标准执行。如果没有标准，则可以自定义构建。另外，还需要制定详尽的数
26、据比对规则，只有这样，才能最大程度的进行数据的自动化匹配，进行有效数据的筛选与存储。当然，还有很多的处理环节需要标准化，这将会在后续的详细设计中一一实现。2.4 核心软件系统设计原则2.4.1 自动化数据交换在数据交换平台的软件体系内，处于最核心的部件是数据交换控制组件，该组件自动运行在后台，依据既定的标准交换协议对数据交换的各个环节进行监听，一旦监听到有需要处理的任务，则在后台自动化的完成数据的处理过程，这一过程不需要人工干预。如果某一过程的处理中，存在问题，则会自动预警。例如，原本定义好每天需要有新的交换文本上传到FTP进行交换，但是自动化处理过程在自动处理过程中，没有发现当天需要交换的新
27、文本，则会向系统发一条预警通知，该通知会以某种方式，在WEB操作界面展现出来。2.4.2 可定制数据交换软件系统将实现数据交换的可定制化。在Web操作控制界面上，具有一定权限的操作人员，可以根据数据交换的需要，在既定的标准交换协议框架之内，实现灵活的的可定制数据交换操作。可以定制数据源、数据采集方式、采集频率等等。当操作人员按照规则进行了数据交换的可定制操作以后，系统会生成一定的流程描述脚本提供给数据交换控制组件来自动运行。2.4.3 多重方式数据的展现与利用数据交换的最终目的是为了对数据进行管理和应用。那么，经过数据的采集与预处理，得到了可以利用的数据，我们最终需要以某种方式将数据加以展现和
28、利用。本系统中，我们将会以两种方式来进行数据的展现与利用。对于本系统的最终用户，系统将会提供基于Web的操作界面，来进行数据的查询与展现。根据业务需求，将会提供固定条件的数据查询与展现，以及在一定的业务范畴之内的可定制的数据查询与展现。当然除了提供Web操作界面提供给最终用户来进行数据的查询与展现，还需提供基于不同方式的数据查询与展现接口以供第三方系统或用户来对数据进行查询和应用。那么根据需求，我们可以提供可编程数据访问接口、数据库直连、FTP自动交换以及文本导出等不同方式的接口。这个要在保证数据存储、传输的安全条件下，根据具体的需求来确定最终采用哪些方式。2.4.4 数据全生命周期管理本系统
29、的核心着眼点是数据的交换处理和利用，所以对于数据的管理是最核心的一环。基于这一问题，需要设计完备的数据生命周期管理，从数据抽取到系统的第一步起，到数据最终的展现和应用。每个环节，都会提供相应的管理功能和操作界面，供具有权限的操作人员去对数据进行控制和处理。另外，对于数据每个环节的操作和管理，系统都会提供详尽日志，以供后期分析查询使用，提供数据交换成果的统计与分析功能。2.4.5 数据字段业务标准本系统自动化成分很高，自动建表，索引，存储过程等工作都是由系统脚本自动生成。例如在创建数据交换项的时候，数据进入系统采用的数据字段都是要满足数据标准平台的标准的，新字段要通过数据标准平台审核。2.5 数
30、据存储设计在本系统中，数据存储的设计包括两方面的内容，首先是数据库的部署设计，其次是数据库表的设计。因为本系统跨地域、跨部门、跨业务，跨上下级关系，所以要实现数据的采集处理和共享，决定了本系统是一个分布式系统。数据库的部署也必须分地区，分层次，各个地方部署各自的数据库进行交换数据的存储。省级的交换数据存储在省级的数据库服务器中，市级的交换数据存储在市级的数据库服务器中，县（区）级的交换数据存储在县（区）级的数据库服务中。另外，因为要经过数据的ETL，才能得到可以利用的数据，所以在数据库的设计上，要考虑到包括原始数据数据表和经过数据转换和清洗后的正式数据表。关于数据表的设计，要包括系统初始化所需
31、的支撑表、权限控制表以及处于核心的业务数据表等不同类型的数据表。另外，因为系统中存在各地各个级别的数据，所以要设计合理的数据关联关系，设定一定的访问控制标志，以保证数据的安全共享与访问。因为本系统涉及到海量数据的处理，所以要充分发挥分布式存储和运算技术，利用Oracle数据库管理技术为中心的各项技术手段，来实现数据的安全存储，高效处理。2.6 数据流管理设计从宏观方面讲，数据的流向大体有两个方向。一个是横向的数据流动，也就是数据从第三方数据源获取，经过处理后进入本系统数据库中进行存储和利用。这是本系统所需处理的核心问题，也就是数据从第三方数据源怎样进入本系统，并成为有效可利用的数据，并且可以提供给其它系统进行扩展应用。这在前边基本上已经过阐述。另一个方向是数据的纵向流动，也就是处于行政关系的上下级单位间数据存储之间的数据流动。主要是上级部门的交换数据，可以共享给下级部门。下级部门的数据交换部署实施情况、数据利用成果等可以共享给上级部门。这里有两种方案可以选择：一种是上级（下级）部门的交换数据存储在上级（下级）部门的数据库中，给下级（上级）部门开发访问权限，根据访问规则，下级（上级）部门可以访问具有权限的数据。另外一种是上级（下级）部门交换数据下发（上传）到下级（上级）部门。第
