数据库管理技术发展的三个阶段

3.5　数据存储技术

随着城市空间数据获取手段的快速发展以及各种数据的不断积累，数字城市所需的地球空间数据将迅速膨胀，“信息爆炸”、“混沌信息空间”和“数据过剩”的巨大压力，使人们面临巨量数据的处理问题。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。数据存储技术，特别是有关数字城市的海量存储技术是这一领域的关键技术。

3.5.1　卫星遥感数据的智能化存取技术

卫星遥感数据的智能化存取技术，其目标是解决海量遥感卫星数据的快速存储与检索。它主要包括以下四个方面:

(1)不同区域、不同时间、不同空间分辨率、不同光谱分辨率的遥感数据的存储模型、数据库及其管理模型开发，包括上述数据按地理坐标进行组织与管理，以及各种数据的集成与融合，以达到海量数据快速存储与检索，并方便用户的目的。

(2)建立四维(空间和时相)数据的存取模型，过去的数据库侧重在空间方面，时间的动态变化的数据存储与检索模型研究得不够。今后的重点要放在开发数字城市的四维模型上，即动态的数据库及其管理技术，尤其是自动化的存储与检索技术的开发。

(3)随着大容量磁盘、微机服务器主频、多CPU并行处理技术、基于高速互联网的多机分布处理系统的飞速发展，使得普通用户实现海量数据的互联机处理成为可能。联机和脱机的存储介质，及系统的拓扑结构的合理规划都是关键性的技术。

(4)高分辨率的四维数据的快速高精度的表达技术。首先是要建立时间、空间上连续的数据库及其检索系统，然后在这基础上能够进行连续动态的表达或显示，也是智能化技术的重要方面。

3.5.2　海量数据压缩与复原技术

在数字城市建设中，许多业务部门都需要操作海量数据，而且不同的部门有不同类型的数据，如规划部门有规划方面的数据，水利部门有水利方面的数据，气象部门有气象方面的数据，测绘部门有测绘方面的数据，这些部门都可能有几百兆甚至数千兆的数据，这些数据也由不同的部门在不同地点以不同的方式进行管理和维护。随着信息化程度的提高，数据已超出它原来的范畴，呈现出分布式多元异构性的特征。因此建设“数字城市”需要海量的存储技术，海量数据存取是通过计算机的并联或改善计算机的性能，存储采用多服务器、分布式管理，由于数字城市建设所需的海量数据，单纯用增加存储器容量和通信信道的带宽以及提高计算机的运算速度等技术是不够的，还应采用多媒体压缩与复原技术，如采用基于小波变换算法的高效数据压缩与解压方法来极大地提高海量数据存取效率的技术，它是数字城市进行数据存储的关键技术之一。

多媒体数据的压缩与复原技术要求高压缩比、高压缩效率、高复原质量，以达到编码、解码时间满足数字城市应用的需求，以及数据压缩的无损性和满足人眼视觉特性的压缩效果的要求。在数字城市的建设中，分形编码与基于小波变换编码压缩技术是主要的应用技术。

3.5.3　空间数据库技术

空间数据库是以特定的信息结构和数据模型表达、存储和管理从地理空间中获取的某类空间信息，以满足不同用户对空间信息需求的数据库，它是GIS在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般是以一系列特定结构的文件形式组织在存储介质之上的。而空间数据库管理系统则是指能够对物理介质上存储的地理空间数据进行语义和逻辑上的定义，提供必要的空间数据查询检索和存取功能，以及能够对空间数据进行有效维护和更新的一套软件系统。空间数据库管理系统的实现是建立在常规的数据库管理系统之上的。常用的有两种空间数据库管理系统的实现方法:一是直接对常规数据库管理系统进行功能扩展，加入一定的空间数据存储与管理功能，如Oracle的Oracle Spatial等;二是在常规数据库管理系统之上加入空间数据库引擎，已获得对空间数据存储和管理能力，如ESRI的SDE(Spatial Database Engine)等。

在研究时空数据模型、三维数据模型等新型空间数据模型，需要构建用来存储和管理海量空间数据和属性数据的空间数据库管理系统，它能够直接支持复杂空间对象独立的存储和共享，减少数据的冗余度，方便地实现空间数据的集中控制、多用户并发、安全、一致性、完整性、事务管理、数据库恢复、空间数据无缝连接等管理操作，并结合几何和属性信息提供高效的空间索引机制和标准化的空间查询语言。与一般数据库相比，它还具有空间特征、抽象特征、空间关系特征、多尺度与多态性、非结构化特征、分类编码特征、海量数据特征等。

数字城市涉及海量的多元化异构数据，为了提高海量数据的存储、管理效率和质量，可以综合运用空间数据库技术，即充分应用GIS本身的数据管理和分析功能，同时采用Oracle和Sybase等空间数据库管理软件，建立数字城市的数据中心数据库，对复杂的城市信息进行有效的存储、管理和分析，并通过空间数据库引擎(SDE)，实现它们之间的相互调用。

3.5.4　分布式数据库系统

分布式数据库系统(Distributed Database System，DDBS)是在两台或多台独立(通常是地理上隔离的)的计算机上执行事务处理和数据存取更新的数据库系统，是数据库系统与计算机网络相结合的产物。在分布式数据库系统中，一个应用程序可以对数据库进行透明操作，数据库中的数据分别在不同的局部数据库中存储、由不同的DBMS进行管理、在不同的机器上运行、由不同的操作系统支持、被不同的通信网络连接在一起。它具有数据独立性与位置透明性、集中与自治相结合的控制机制、适当的数据冗余、事务管理的分布性、支持全局数据库的一致性和可恢复性。

分布式数据库系统可以分为两种形式:一种形式是物理上分布，逻辑上集中。这种形式是使用计算机网络将地理位置分散而管理和控制又需要不同程度集中的多个逻辑单元(通常是集中式数据库系统)连接起来，共同组成一个统一的数据库系统，它只适宜用途比较单一的、不大的单位或部门。另一种形式是物理和逻辑上都分布。这种形式即所谓联邦式分布数据库系统，由于组成联邦的各个子数据库系统是相对“自治”的，可以容纳多种不同用途的，差异较大的数据库，比较适宜于大范围内数据库的集成。

数字城市是有多种面向不同领域、不同服务对象的功能各异的信息平台和应用系统组成，这些系统不仅需要各自的专门信息，也需要许多共同的信息，而分布式数据库克服了集中式数据库的局限，较好地实现了局部控制、分散管理与全局控制、协同管理的有机统一、特别适合数字城市应用系统数据库建设的需要，利用分布式数据库系统可以较好地实现数据的共建和共享，提高数据的利用效率和利用价值。

3.5.5　数据仓库技术

数据仓库(Data Warehouse，DW)的概念是在20世纪80年代中期，由号称“数据仓库之父”的W.H. Inmon在Building the Data Warehouse一书中被提出的。他将数据仓库定义为“数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策”。其基本思想是建立体系化的数据存储环境，将信息化所需的大量数据从传统的操作性环境中分离出来，把分散的、难以访问的操作数据转换成集中统一的、随时可以调用的信息，以加快查询的速度。

“数字城市”的数据仓库能统一处理海量的、多源的、异构的城市各类资源信息，将异地分布的、多级管理的海量城市资源数据集成到统一的数据库环境中，按照不同主题、不同区域、不同时间等多维度进行有效管理，提供不同级别的数据访问接口以及多维动态表达和分析工具。数据仓库是在数据库已经大量存在的情况下，为进一步挖掘数据资源和决策需要而产生的，但它并不是所谓的“大型数据库”。它具有两个主要功能:一是从各信息源提取出所需要的数据，经加工处理后存储起来;二是能直接在数据仓库上处理用户的查询和决策分析请求，尽量避免再去访问信息源。

随着数据仓库技术应用的不断深入，近几年数据仓库技术得到长足的发展。典型的数据仓库系统，如经营分析系统、决策支持系统等。同时随着数据仓库系统带来的良好效果，各行各业的单位，已经能很好地接受“整合数据、从数据中找知识、运用数据知识、用数据说话”等新的关系到改良生产活动各环节、提高生产效率、发展生产力的理念。目前，数据仓库技术已经广泛应用于电信、税收、消防、教育、金融、企业、档案管理、国际结算、商务智能、公共交通、工程项目管理等领域。