电子政务数据中心中不确定性数据管理

摘 要 信息化的不断发展和进步,使得电子政务成为人们日常生活的一部分,电子政务的效率与发展,在一定程度上成为衡量城市人们生活好坏的一个重要标准.在电子政务的数据中,存在着大量的不确定性的数据,这些数据的管理和处理成为制约电子政务进一步发展的瓶颈.本文通过对这些数据的产生、分类和管理研究,提出相应管理方法.

关 键 词 不确定性数据；电子政务；数据中心

中图分类号：TP3 文献标识码：A 文章编号：1671—7597（2013）042-124-01

1.不确定性数据

信息产业通过近四十年的发展,已经深入到各行各业中,在信息产业中,数据库的发展和应用占据了一个重要的地位,仅我国每年与数据库相关的产业规模达到近千亿,并且还在扩大当中.数据库在各种不同的系统中都占据基础的位置,在计算机专业的教育中,也是专业的核心和基础之一,在电子政务、电子商务、信息系统等方面更是占据了主角的地位,对于信息系统的软件,“三分技术、七分数据”已经成为行业的共识.

在这些传统的软件和数据库中,数据都是准确的存在于每个一个表格中,无论数据是以哪种范式存在,数据的来源都是准确的.然而,在现实生活中,一些数据却不可避免是确定性,这些不确定性的数据来源、处理、算法,都与传统准确的数据不同,这要求我们对不确定数据的存储和处理进行研究.

不确定性的数据指的是数据本身的不确定性或者是数据来源的不确定性,例如数据类型定义集合采用了基于模糊集合的定义方式,就从根本上导致了数据本身的不确定性,又或者数据在采集的过程中,使用的采集方法和方式存在不确定性,这些都容易产生不确定性的数据,另外数据变化也容易产生不确定性的数据,来自于不同数据源的数据,进行统一整理、加工、集成的过程中,也容易产生不确定数据.

目前关于不确定性数据的研究非常多,一些在确定性数据领域常规算法被推广应用到不确定性数据领域,例如：通过将不确定性数据图形化处理,得到了不确定图,在不确定图的基础上,一些传统最小生成图算法、关键路径算法等等被一一实现出来,紧接着一些现代的TOP-K查询算法、K最近邻算法、SKYLINE算法等等也被一一提出.这些算法的提出了,解决了大量的不确定数据中的处理问题,从而推动了不确定性数据处理的发展.

2.电子政务数据中心

在所有的管理信息系统中,电子政务系统是最复杂、最庞大的系统之一,数据来源比较复杂,因此容易产生不确定性数据.但是对这些数据进行分析是非常重要的,是进一步进行数据处理和数据挖掘的基础.随着电子政务的发展,每个电子政务系统都采用了数据中心的方式,这样容易对数据进行整理和挖掘,从而为城市的管理和决策提供科学的依据.

近年来,关于电子政务的数据挖掘研究非常多,但是这些研究大部分是针对确定数据,正对WEB数据和不确定性数据却很多,在电子政务中非常容易产生不确定性数据,例如：在城市的公交线路规划上,我们可以通过采用统计刷卡数量的方法轻易的统计多少个人乘坐了公交车,但是却只能在此基础上根据一定的概率和算法来统计实际的人数.另外每个人人大概乘坐的站点数量也是没有办法准确统计的,这些数据又对公交车的设置非常重要,如果有精确的数据,我们可以根据一定的算法来挖掘出相应的线路,在这种情况下,只能根据乘坐的人数对具体的数据进行推论,这样推论的方式导致了数据的不确定性.尽管通过数据中心的方式能够方便数据的管理和处理,但是因为得到的数据不确定,却没有更好的方法进行决策支持.

另外,在电子政务中,有大量的数据存在隐瞒、欺诈情况,这些数据也是造成不确定性的主要原因之一,因此这些数据的处理也是一件非常重要的事.

3.数据处理与管理方法

一般来讲,对不确定的数据进行整理之后,采用概率树,或者是半结构化的方法,使之成为一个确定性的数据,然后在对数据通过一定的映射算法进行处理,最终使数据转换成为一个确定性数据,以方便处理.

对于多维数据来讲,这种处理方式并不可行,多维的半结构化数据,再采用概率计算,会导致计算量非常巨大,从而使问题变成NP-HARD问题,最终导致了不可计算.可以通过对这些数据剪枝、上卷等方法,消除过多的影响维数,最终使数据变成容易处理的数据.对于比较难处理的数据,可以再多个层次上对数据进行处理,通过一些启发式的算法,最后得出处理的结果.

总而言之,现在不确定数据存在在各个领域中,在电子政务中尤其容易产生,但是不确定数据的处理又比较重要,通过对这些数据的处理和归集,使之能够顺利的和数据中心的已有数据配合,最终产生容易处理的结果.