大数据量的系统的数据库结构如何设计？

1. 大数据量的系统的数据库结构如何设计？

系统架构师：数据库系统之数据库设计方法、基本步骤和需求分析

2. 如何设计合理高效的数据库

一、 引言数据库对于企业信息化的重要性是不言而喻的。数据库存储着现代企业最重要的数据，包括生产、经营、管理等各类数据，这些数据作为企业的核心信息，通过各类信息系统，为用户提供及时准确的信息，帮助用户分析，为用户提供决策依据。为提高企业的工作效率，提升企业形象，具有传统模式无法比拟的优势。其中构建合理高效的数据库，是数据库建设关键之一。如何构建合理高效的数据库是企业信息化过程要解决的问题。下面就数据库的构建谈谈自己的一些经验，希望能对大家有所帮助。 二、 设计数据库之前
数据库并不是凭空想象出来的，而是根据业务部门的需要设计符合业务需求的数据库。因此在形成数据库之前需要充分了解业务需求。 1. 充分理解业务需求。需求分析是整个设计过程的基础，是最困难、最耗费时间的一步。在这期间通过与业务部门交流，了解用户的想法以及工作流程，通过双方多次交流，会形成初步的数据模型，当然这时的数据模型不会是最终的模型，还需要和用户进行交流，并且在以后的信息系统开发过程中还会反复修改。 2. 重视输入输出。在定义数据库表和字段需求（输入）时，首先应了解数据产生源和数据流程，也就是必需要知道每个数据在那儿产生，数据在那儿表现，以什么样的形式表现等等，然后根据用户提供的报表或者设计出的报表、查询和视图（输出）以决定为了支持这些输出哪些是必要的表和字段。 3. 创建数据字典和ER 图表。ER 图表和数据字典可以让任何了解数据库的人都明确如何从数据库中获得数据。ER图对表明表之间关系很有用，而数据字典则说明了每个字段的用途以及任何可能存在的别名。对SQL 表达式的文档化来说这是完全必要的。 需要注意的是，在需求分析调研过程中，并不是一帆风顺的，因为业务人员对于业务的理解不同，以及对于信息知识的缺乏，会影响需求分析的质量，为了提高质量，各方要用更多的时间交流与相互理解，业务部门需要精通业务的人员自始至终全力配合，而开发人员则尽量使用用户理解的业务术语交流，这样会避免出现理解不同而产生的歧义。 三、 设计合理的表结构
通常合理的表结构会减少数据冗余，提高数据库的性能。设计合理的表结构要遵循以下两点。 1. 标准化和规范化 数据的标准化有助于消除数据库中的数据冗余。标准化有好几种形式，但3NF(第三范式)通常被认为在性能、扩展性和数据完整性方面达到了最好平衡。简单来说，遵守3NF标准的数据库的表设计原则是：某个表只包括其本身基本的属性，当不是它们本身所具有的属性时需进行分解。表之间的关系通过外键相连接。它具有以下特点：有一组表专门存放通过键连接起来的关联数据。 例如：某个存放单井信息及其有关油井生产日报信息的3NF数据库就有两个表：单井基础信息和油井日报信息。日报信息不包含单井的任何信息，但表内会存放一个键值，该键指向单井基础信息里包含该油井信息的那一行。 不过也有例外，有时为了效率的缘故，对表不进行标准化也是必要的。 2. 考虑各种变化 在设计数据库的时候考虑到哪些数据字段将来可能会发生变更。使数据库更具扩展性，从而减少将来数据变更所带来的损失。 例如，日期类型字段，有时我们会考虑使用字符类型代替日期类型，因为在处理日期字段上容易产生数据错误，所以我们就使用字符类型。这样的例子还很多，在做前期设计时都要考虑的。 表结构的设计不是一次就能成功的，在信息系统开发过程中会存在数据读取、录入或统计困难，为了解决这些问题会修改表结构，或增加一些字段，或修改一些字段的属性。这个过程不断重复，因此不要想一次能成功。建议使用专门设计工具来做这些工作，笔者经常使用：SYBASE PowerDesigner ，当然还有其它的工具：ORACLE Designer 2000 ，ROSE等工具。这样会使你的工作事半功倍。 四、 选择合理的索引
索引是从数据库中获取数据的最高效方式之一。95%的数据库性能问题都可以采用索引技术得到解决。 1. 逻辑主键使用唯一的成组索引，对系统键（作为存储过程）采用唯一的非成组索引，对任何外键列采用非成组索引。考虑数据库的空间有多大，表如何进行访问，还有这些访问是否主要用作读写。 2. 大多数数据库都索引自动创建的主键字段，但是可别忘了索引外键，它们也是经常使用的键，比如运行查询显示主表和所有关联表的某条记录就用得上。 3. 不要索引大型字段（有很多字符），这样作会让索引占用太多的存储空间。如MEMO(备注)、TEXT(文本)等字段。 4. 不要索引常用的小型表 不要为小型数据表设置任何键，假如它们经常有插入和删除操作就更别这样作了。对这些插入和删除操作的索引维护可能比扫描表空间消耗更多的时间。如代码表，或系统参数表。 五、 保证数据完整性
数据的完整性非常重要，这关系到数据的准确性，不准确的数据是毫无价值的，因此保证数据的完整性非常重要。 1. 完整性实现机制：实体完整性：主键参照完整性： 父表中删除数据：级联删除；受限删除；置空值父表中插入数据：受限插入；递归插入 父表中更新数据：级联更新；受限更新；置空值 DBMS对参照完整性可以有两种方法实现：外键实现机制（约束规则）和触发器实现机制用户定义完整性：NOT NULL；CHECK；触发器 以上完整性机制需要熟悉和掌握，它对于数据的完整性非常重要。 2. 用约束而非业务规则强制数据完整性 采用数据库系统实现数据的完整性。这不但包括通过标准化实现的完整性而且还包括数据的功能性。在写数据的时候还可以增加触发器来保证数据的正确性。不要依赖于业务层保证数据完整性；它不能保证表之间（外键）的完整性所以不能强加于其他完整性规则之上。 3. 强制指示完整性 在有害数据进入数据库之前将其剔除。激活数据库系统的指示完整性特性。这样可以保持数据的清洁而能迫使开发人员投入更多的时间处理错误条件。 4. 使用查找控制数据完整性 控制数据完整性的最佳方式就是限制用户的录入。只要有可能都应该提供给用户一个清晰的价值列表供其选择。这样将减少键入代码的错误和误解同时提供数据的一致性。某些公共数据特别适合查找：性别代码、单位代码等。 5. 采用视图 视图是一个虚拟表，其内容由SQL语句定义，视图不仅可以简化用户对数据的理解，也可以简化他们的操作。那些被经常使用的查询可以被定义为视图，从而使得用户不必为以后的操作每次指定全部的条件。另外通过视图用户只能查询和修改他们所能见到的数据。数据库中的其它数据则既看不见也取不到。数据库授权命令可以使每个用户对数据库的检索限制到特定的数据库对象上，增强数据的安全性。 六、 结束语
数据库的高效运行不仅需要技术上的支持，也需要硬件平台和网络的支持以及数据库管理员的有效管理，本文只是从技术的角度说明如何提高数据库的效率，但在实际应用过程中其它方面的支持也是不可缺少的，尤其是数据库管理，数据库建设是“三分技术，七分管理，十二分基础数据”，因此对于数据库管理一定要重视，在管理到位的情况下技术才能发挥应有的作用。

3. 如何设计合理高效的数据库

一.根据业务部门的需要设计符合业务需求的数据库，在形成数据库之前需要充分了解业务需求。1、 充分理解业务需求。需求分析是整个设计过程的基础，是最困难、最耗费时间的一步。2、 重视输入输出。在定义数据库表和字段需求（输入）时，应了解数据产生源和数据流程。3、 创建数据字典和ER 图表。二. 设计合理的表结构通常合理的表结构会减少数据冗余，提高数据库的性能。三.选择合理的索引索引是从数据库中获取数据的最高效方式之一。四.保证数据完整性数据的完整性非常重要。

4. 如何设计合理高效的数据库

一.根据业务部门的需要设计符合业务需求的数据库，在形成数据库之前需要充分了解业务需求。
  
 1、 充分理解业务需求。需求分析是整个设计过程的基础，是最困难、最耗费时间的一步。
   
 2、 重视输入输出。在定义数据库表和字段需求（输入）时，应了解数据产生源和数据流程。
  
 3、 创建数据字典和ER 图表。
  
 二. 设计合理的表结构通常合理的表结构会减少数据冗余，提高数据库的性能。
  
 三.选择合理的索引索引是从数据库中获取数据的最高效方式之一。
  
 四.保证数据完整性数据的完整性非常重要。

5. 如何设计数据库 实现大数据分析

数据库开发工程师的日常工作是设计、开发数据库系统和数据库应用软件，因此与软件研发的过程一样，会覆盖需求、设计、编程和测试四个阶段：
需求：深入调研用户市场需求，认清项目的应用场景，解决的问题，性能指标等，需要与数据库系统使用方反复沟通，确定具体的需求。
设计：根据收集整理的需求文档设计数据库系统软件的模型和架构，划分模块分别进行概要和详细设计。
编程：按照模块分工和设计文档，进行编码和调试。
测试：将开发完成的数据库系统交给测试人员进行测试，主要使用的测试方法有黑盒测试、白盒测试、压力测试、性能测试等，测试全部通过后即可等待发布。