sql优化及原理详解，五分钟读懂sql优化

在我而言这算是一个复习，然后总结出来给大家当个教材吧。

为淇县等地区用户提供了全套网页设计制作服务，及淇县网站建设行业解决方案。主营业务为成都网站建设、网站制作、淇县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

我也是看视频总结出来的笔记，所以说的都很简单和浅薄。有不全面或者偏颇的地方欢迎指出，共同交流进步哈。（因为我当时是看视频总结的笔记，所以可能说的比较杂乱，我尽量写的分明一点，在最后会附上笔记，忽略我字丑）

索引是什么呢？它相当于字典的目录。

索引：index是帮助mysql高效获取数据的数据结构，索引是数据结构（树，默认是B树），hash等。

索引的弊端: 事物都是两面的，有利必然有弊。

索引的优势： 索引有这么多弊端我们还使用的原因是因为优大于劣。

索引的分类：

举个小例子让大家更理解复合索引：如果我把一个表中name，age这两个列做成复合索引（注意顺序很重要）。那么我们形成的目录一级目录是name，二级目录是age。在name相同时才会age再形成目录。因为它本身的排序不是像目录一样一行一行列出来的，所以我们尽量用目录来想像它比较好理解。下面是图解：

有几点注意的事项：

这里说一下，上面说的方法都是原生的sql，比如我现在习惯使用navicat，所以可以直接操作。。爽的不行。

然后删除查询也都是直接可视的，方便的不得了。就不多说了。

mysql做例子，还有个引擎是可以优化的。mysql中引擎分两种：

sql优化等级：

上面说的这些等级在explain中可以看到。

单表优化常用方法：

多表优化常用方法：

因为上面也提到了b树，所以还是单独聊聊吧。其实我也不是很理解。只能说一个浅显的认识而已。这里也就是简单的说一下。

首先，B树不仅可以二叉，还可以三叉，多叉。而只要大于二叉的都叫做BTree。

据说三层BTree可以存放上百万数据。

BTree一般都指B+树，数据全部存放在叶节点中。（这里简单的一个三叉树图）

好了，就写到这里吧，希望日后算法的知识会的更多以后能把B树这个坑填完~~~然后有不同意见或者自己理解的可以留言或者私聊。

全文手打，如果你觉得对你有帮助麻烦点个赞点个关注啥的~~

sql数据库认识

SQL是Structured Quevy Language(结构化查询语言)的缩写。SQL是专为数据库而建立的操作命令集，是一种功能齐全的数据库语言。在使用它时，只需要发出“做什么”的命令，“怎么做”是不用使用者考虑的。SQL功能强大、简单易学、使用方便，已经成为了数据库操作的基础，并且现在几乎所有的数据库均支持SQL。 br

##1 二、SQL数据库数据体系结构 br

SQL数据库的数据体系结构基本上是三级结构，但使用术语与传统关系模型术语不同。在SQL中，关系模式(模式)称为“基本表”(base table)；存储模式(内模式)称为“存储文件”(stored file)；子模式(外模式)称为“视图”(view)；元组称为“行”(row)；属性称为“列”(column)。名称对称如^00100009a^： br

##1 三、SQL语言的组成 br

在正式学习SQL语言之前，首先让我们对SQL语言有一个基本认识，介绍一下SQL语言的组成： br

1.一个SQL数据库是表(Table)的集合，它由一个或多个SQL模式定义。 br

2.一个SQL表由行集构成，一行是列的序列(集合)，每列与行对应一个数据项。 br

3.一个表或者是一个基本表或者是一个视图。基本表是实际存储在数据库的表，而视图是由若干基本表或其他视图构成的表的定义。 br

4.一个基本表可以跨一个或多个存储文件，一个存储文件也可存放一个或多个基本表。每个存储文件与外部存储上一个物理文件对应。 br

5.用户可以用SQL语句对视图和基本表进行查询等操作。在用户角度来看，视图和基本表是一样的，没有区别，都是关系(表格)。 br

6.SQL用户可以是应用程序，也可以是终端用户。SQL语句可嵌入在宿主语言的程序中使用，宿主语言有FORTRAN，COBOL，PASCAL，PL/I，C和Ada语言等。SQL用户也能作为独立的用户接口，供交互环境下的终端用户使用。 br

##1 四、对数据库进行操作 br

SQL包括了所有对数据库的操作，主要是由4个部分组成： br

1.数据定义：这一部分又称为“SQL DDL”，定义数据库的逻辑结构，包括定义数据库、基本表、视图和索引4部分。 br

2.数据操纵：这一部分又称为“SQL DML”，其中包括数据查询和数据更新两大类操作，其中数据更新又包括插入、删除和更新三种操作。 br

3.数据控制：对用户访问数据的控制有基本表和视图的授权、完整性规则的描述，事务控制语句等。 br

4.嵌入式SQL语言的使用规定：规定SQL语句在宿主语言的程序中使用的规则。 br

下面我们将分别介绍： br

##2 (一)数据定义 br

SQL数据定义功能包括定义数据库、基本表、索引和视图。 br

首先，让我们了解一下SQL所提供的基本数据类型：(如^00100009b^) br

1.数据库的建立与删除 br

(1)建立数据库：数据库是一个包括了多个基本表的数据集，其语句格式为： br

CREATE DATABASE 数据库名 〔其它参数〕 br

其中，数据库名在系统中必须是唯一的，不能重复，不然将导致数据存取失误。〔其它参数〕因具体数据库实现系统不同而异。 br

例：要建立项目管理数据库(xmmanage)，其语句应为： br

CREATE DATABASE xmmanage br

(2) 数据库的删除：将数据库及其全部内容从系统中删除。 br

其语句格式为：DROP DATABASE 数据库名 br

例：删除项目管理数据库(xmmanage)，其语句应为： br

DROP DATABASE xmmanage br

2.基本表的定义及变更 br

本身独立存在的表称为基本表，在SQL语言中一个关系唯一对应一个基本表。基本表的定义指建立基本关系模式，而变更则是指对数据库中已存在的基本表进行删除与修改。 br

……br

五大数据库理念，读懂亚马逊云科技的数据库布局

1970 年，关系型数据库之父 E.F.Codd 发表《用于大型共享数据库的关系数据模型》论文，正式拉开数据库技术发展序幕。以 Oracle、DB2、SQL Server 为代表的三大商业数据库产品独占鳌头，随后涌现出 MySQL、PostgreSQL 等为代表的开源数据库 ，和以 Amazon RDS 等为代表的云数据库，拉开百花齐放的数据库新序幕。

我们知道，云计算十年为产业转型升级提供了 历史 性契机，但变革仍在进行，随着云计算的普及，数据库市场发生根本性改变，云厂商打破传统商业数据库的堡垒，成为数据库领域全新力量。其中以连续六年入选 Gartner 领导者象限的亚马逊云 科技 为代表，我们一起探讨：为什么亚马逊云 科技 能始终保持其创新性？纵观云原生时代下，亚马逊云 科技 数据库未来还有哪些更多的可能性？

01 面对四大数据库发展趋势，亚马逊云 科技 打造五大数据库理念

后疫情时代下，加速了不少行业的业务在线化和数字化运营，企业对数据价值挖掘的需求越发强烈，亚马逊云 科技 大中华区产品部总经理顾凡详细介绍其中四大趋势：

一是伴随互联网、移动互联网的发展，电商、视频、社交、出行等新应用场景的兴起，不仅数据量大，对数据实时性要求极高，传统关系型数据库无法满足需求，因此驱动云原生数据库的出现。

二是开源数据库的广泛应用。

三是应用程序现代化对数据库提出更高要求，期待数据库拥有更高的性能、可扩展性、可用性以及降低成本，让开发人员专注于核心业务的应用开发，不用关注和核心业务无关的代码。

四是软件架构历经 PC、互联网、移动互联网，再到如今的万物互联时代，其中的迭代和转型正在驱动数据库选型的变化。

在此四大趋势下，伴随企业的业务量越来越大、越来越复杂，对数据库的要求越来越高。亚马逊云 科技 洞察客户需求，在打造云上数据库产品时提出五大理念：

一是专库专用，极致性能；二是无服务器，敏捷创新；第三是全球架构，一键部署；第四是平滑迁移，加速上云；第五是 AI 赋能，深度集成。

02 历经真实锤炼，五大数据库理念，持续赋能企业数智转型

顾凡表示，随着数据爆炸式增长，微服务架构与 DevOps 愈发流行的今天，一个数据库打天下的时代已然过去。我们需要在不同的应用场景下，针对不同的数据类型和不同的数据访问特点，为开发者和企业提供专门构建的工具。

所以亚马逊云 科技 提出 第一个核心数据库理念：专库专用 。在此理念下，推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。

这些数据库产品均经历过亚马逊内部核心业务的真实锤炼，成绩斐然：

亚马逊电商当年是 Oracle 的客户之一，随着亚马逊电商的应用重构和业务体量发展，亚马逊电商决定将业务迁移到亚马逊云 科技 里。100 多个团队参与这庞大的迁移工作中，将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从 Oracle 迁出来。2019 年，亚马逊将存储近 7500 个Oracle 数据库中的 75 PB 内部数据迁移到多项亚马逊云 科技 的数据库服务中，包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache，于是亚马逊电商成为亚马逊云 科技 在全球的“第一大客户”。

从 Oracle 切换到亚马逊云 科技 后，亚马逊电商节省了 60% 成本，面向消费者端的应用程序延迟降低 40%，数据库管理支出减少 70%。

以被誉为“亚马逊云 科技 历史 上用户数量增速最快的云服务”Amazon Aurora 为例，其拥有科媲美高端商业数据库的速度和可用性，还拥有开源数据库的简单性与成本效益，Amazon Aurora 让客户满足“鱼和熊掌兼得”需求。

据顾凡介绍，Amazon Aurora 可提供 5 倍于标准 MySQL 性能，3 倍于 PostgreSQL 吞吐量。同时提供高可用，可用区（AZ）+1的高可用，Global Databases 可完成跨区域灾备。可扩展到 15 个只读副本，成本只有商业数据库的 1/10。

医药企业九州通为药厂、供应商，搭建药厂、供应商、消费者提供供应链链条。其 B2B 系统的业务特点是读多写少，受促销活动、工作时间等影响，经常会出现波峰波谷落差较大的情况，读写比例在 7：2 或者 8：3。九州通采用 Amazon Aurora 后实现读写分离和按需扩展，整体数据库性能提升 5 倍，TCO 降低 50%。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。

据权威机构预测，到 2022 年，75% 数据库将被部署或迁移至云平台。在这个过程中，亚马逊云 科技 是如何通过技术来帮助客户加速应用上云的？这离不开除了上述的“专库专用”外，以下四大理念：

第二个理念是无服务器、敏捷创新。 亚马逊云 科技 大中华区产品部数据类产品高级经理王晓野表示，企业业务总有波峰波谷之时，如何按照企业 80-90% 的业务峰值来规划数据库的存储容量和计算资源的话，将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源，这将造成成本上的浪费。而 Serverless 数据库服务可完成无差别的繁复工作和自动化扩展。

Amazon DynamoDB 是亚马逊云 科技 自研 Serverless 数据库，其诞生最早可追溯到 2004 年，当时亚马逊电商作为 Oracle 的客户，尽管对于关系型数据库在零售场景的需求并不频繁，70% 均是键值类操作，此时倒逼亚马逊电商思考：为什么要把关系型数据库这么重得使用？我们可以设计一款支持读写、可横向扩展的分布式数据库吗？后来的故事大家都知道了，这款数据库就是 Amazon DynamoDB，并在 2007 年发表论文，掀起业界 NoSQL 分布式数据库技术创新大潮。

Amazon DynamoDB 可为大规模应用提供支持，支撑亚马逊自身多个高流量网站和系统，如亚马逊电商网站、亚马逊全球 442 个物流中心等。在亚马逊电商一年一度 Prime Day，光是针对DynamoDB API 的调用达到数万亿次，最高峰值请求达到每秒 8920 万次。由此可见，DynamoDB 拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。

智能可穿戴设备厂商华米 科技 ，在全球 70 多个国家拥有近 1 亿用户。仅 2020 年上半年，其手表出货量超 174 万台，截止到 2021 年 2 月，华米 科技 的可穿戴设备累计记录步数是 151 万步，累计记录的睡眠时间是 128 亿个夜晚，记录心率总时长达 1208 亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应，如何保证稳定性是巨大的挑战。

DynamoDB 帮助华米 科技 在任何规模下都能提供延迟不超过 10 毫秒的一致响应时间。华米 科技 健康 云的 P0 和 P1 级别故障减少了约 30%，总体服务可用性提升了 0.25%，系统可用性指标达到 99.99%，为华为 科技 全球化扩展提供了有力的支撑。

最新无服务数据库产品是 Amazon Aurora Serverless V2 提供瞬间扩展能力，真正把扩展能力发挥到极致，在不到一秒的时间内，将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理，如果按照峰值来规划数据库资源，可实现大概90%的成本节省。目前 Amazon Aurora Serverless V2 在全球实现预览。

第三个理念是全球架构、一键部署。 在全球化的今天，如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上，对数据库提出新的挑战。

亚马逊云 科技 提供 Amazon Aurora 关系型数据库Global Database、Amazon DynamoDB、Amazon ElastiCache 内存数据库、Amazon DocumentDB 文档数据库都能利用亚马逊云 科技 的骨干网络提供比互联网更稳定的网络支撑，以一键部署的方式，帮助客户实现几千公里跨区域数据库灾备，故障恢复大概能在一分钟之内完成，同时跨区域的数据复制延迟通常小于一秒。

第四个理念是平滑迁移、加速上云。 目前，450000+ 数据库通过亚马逊云 科技 数据库迁移服务迁移到亚马逊云 科技 中，这个数字每年都在不断增长。亚马逊云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具让开发者和企业进行自助式云迁移。另外，对于迁移过程中可能会需要的支持，可通过专业服务团队和合作伙伴网络成员，为客户提供专业支持，还通过 Database Freedom 项目帮助客户降低他们的顾虑。

今年 11 月，最新产品 Babelfish for Amazon Aurora PostgreSQL 在全球和中国两个区域正式可用，可加速企业上云的迁移，实现让企业可以利用原有的技术栈、原有的 SQL Server T-SQL的人员可以利用到云数据库进行创新。

第五个理念是 AI赋能，深度集成。 我们观察到，ML 技术赋能数据库开发者，开发者无需具备机器学习专业知识，就可进行机器学习操作。在此潮流下，亚马逊云 科技 推出 Amazon Neptune，借由 Deep Graph Library 和 Amazon SageMaker 驱动图神经网络。

今年 8 月，Neptune ML 在中国正式可用，允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布，用 gremlin 语句调用训练成的模型在数据库里实现推理，进行欺诈检测，推荐物品。

目前，亚马逊云 科技 加速在中国区域服务落地，2021年至今新发布 60 多个数据库服务与功能。亚马逊云 科技 正是通过上述五大数据库理念，打造丰富的数据库产品家族，在全球智能化发展趋势下，为企业提供更快更好的数智服务，释放数据价值，并连续六年入选 Gartner 领导者象限，得到业界和客户的深度认可。

外行人的大数据五问 带你了解大数据

外行人的大数据五问 带你了解大数据

大数据是什么？是一种运营模式，是一种能力，还是一种技术，或是一种数据集合的统称？今天我们所说的“大数据”和过去传统意义上的“数据”的区别又在哪里？大数据有什么特点？来源有哪些？又应用于哪些方面等等。接下来小编带您一起了解大数据。

大数据概念

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

百度知道—大数据概念

大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。

互联网周刊—大数据概念

"大数据"的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的"4个V"之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力

研究机构Gartner—大数据概念

"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。 研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。 大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。

大数据分析

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

大数据技术

数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取：关系数据库、NOSQL、SQL等。

基础架构：云存储、分布式文件存储等。

数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测：预测模型、机器学习、建模仿真。

结果呈现：云计算、标签云、关系图等。

大数据特点

要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

当下我国大数据研发建设应在以下四个方面着力

一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。

二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。

三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。

四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

大数据作用

大数据时代到来，认同这一判断的人越来越多。那么大数据意味着什么，他到底会改变什么？仅仅从技术角度回答，已不足以解惑。大数据只是宾语，离开了人这个主语，它再大也没有意义。我们需要把大数据放在人的背景中加以透视，理解它作为时代变革力量的所以然。

变革价值的力量

未来十年，决定中国是不是有大智慧的核心意义标准（那个"思想者"），就是国民幸福。一体现在民生上，通过大数据让有意义的事变得澄明，看我们在人与人关系上，做得是否比以前更有意义；二体现在生态上，通过大数据让有意义的事变得澄明，看我们在天与人关系上，做得是否比以前更有意义。总之，让我们从前10年的意义混沌时代，进入未来10年意义澄明时代。

变革经济的力量

生产者是有价值的，消费者是价值的意义所在。有意义的才有价值，消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的，才卖得出去，才实现得了价值。大数据帮助我们从消费者这个源头识别意义，从而帮助生产者实现价值。这就是启动内需的原理。

变革组织的力量

随着具有语义网特征的数据基础设施和数据资源发展起来，组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的，是各种各样去中心化的WEB2.0应用，如RSS、维基、博客等。

大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧。

大数据处理

大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。

大数据处理的流程

具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。

大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

大数据应用与案例分析

大数据应用的关键，也是其必要条件，就在于"IT"与"经营"的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。以下是我整理的关于各行各业，不同的组织机构在大数据方面的应用的案例，在此申明，以下案例均来源于网络，本文仅作引用，并在此基础上作简单的梳理和分类。

大数据应用案例之：医疗行业

[1] Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

[2] 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

[3] 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

大数据应用案例之：能源行业

[1] 智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

[2] 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

大数据应用案例之：通信行业

[1] XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。

[2] 电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。

[3] 中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

[4] NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

大数据应用案例之：零售业

[1] "我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。"Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

[2] 零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例