SQL Server 数据挖掘系列（一）

lilingjie2015

　　最近看了很多关于数据挖掘的资料，在这里谈谈我对数据挖掘的一些理解，以及微软的数据挖掘理念。
　　数据挖掘可以视为OLAP的补充性技术。OLAP经常为我们提供决策支持，或者为了证明某个假设而提供数据。而数据挖掘则用在对数据没有确定假设的情况下。例如：可以使用OLAP多维数据集检验在特定时间段内购买某项产品的客户都具有哪些特征。具体来说，可以证明地区在北京的客户在2011年10月购买汽车的时候，选择红色车的比例是选择黑色车比例的两倍。可以使用数据挖掘技术自动将与购买有关的因子分解出来或分组，这样决策人员可以将客户划分为“汽车购买者”和“非汽车购买者”两类。我们可以对分组做进一步的研究，发现“汽车购买者”按优先级排列具有以下相关特征：家庭用户与非家庭用户、已婚与未婚等等。另一个利用数据挖掘技术比较多的场景是：业务需求要求对数据集中的一个或多个目标值的未来情况作出预测。例如：对销售率的预测，预计未来一段时间内商品销售的数量等等。
　　在这里，我想结合微软的SQLServer Analysis Service（SSAS），来和大家一起讨论数据挖掘结构这一“多彩”的世界。在SSAS当中包含有一套数据挖掘的工具，这套工具向最终用户提供了在指定的数据子集上发现模式和趋势的功能。源数据可以是关系型的，也可以是多维的。可以只查看在数据层面上应用数据挖掘技术所得到的结果，并用这些结果作为业务决策的基础。也可以使用挖掘的结果作为处理新数据的基础。微软通常将SSAS中的数据挖掘功能称作为“预测分析”，因为这套工具可以作为企业或组织积极认识其数据的一种方式。例如，根据数据聚类分析的结果设计或优化我们的营销策略。还可以利用这个分析的结果，向经过验证的模型注入新的数据,从而协助预测未来的值。数据挖掘是SSAS多维数据集的补充，多维数据集通常用来验证结果，一般是用来帮助我们解决“我们认为这件事情发生了，数据是否支持我们的观点？”这类问题。数据挖掘则用来帮助我们解决的是“将会发生什么？”这样的问题，举一个比较好理解的例子就是如果公司购买了竞争数据的时候，数据挖掘能够帮助我们分析“如果进入这类新业务会怎样？”“如果在这些地方开展业务会如何”这类问题。
　　微软的愿景是能够将BI以及数据挖掘变得更易实现，将结果变得更方便用户理解。数据挖掘可能是实际操作起来最有挑战性的一类数据分析解决方案，因为它需要深入理解所使用的各种挖掘算法。微软打造“人人BI”的理念，也扩展到了数据挖掘的领域，Visual Studio当中的BusinessIntelligence Development Studio（BIDS）提供的工具将数据结构的创建工作简化了很多，如果我们以前接触过BIDS的话，就像平时操作OLAP多维数据集一样，数据挖掘结构也可以通过BIDS的向导来创建，并且还有其他工具可以验证指定挖掘模型的准确性，帮助我们选择最合适的数据挖掘算法。最终用户也会从以各种方式呈现的更有意义的结果中受益。在BIDS和（SQLServer Management Studio）SSMS中都包含许多数据挖掘模型的查看器，可以针对不同的目标群体对数据挖掘的结果进行丰富的展现，我们还可以将数据挖掘集成到OfficeExcel中，以及通过API进行自定义开发以及与各类用户应用程序集成，例如.NET、JAVA等。
　　长期以来，只有具备相当资源的公司才有实力使用数据挖掘的产品，因为专用的数据挖掘产品非常昂贵，需要聘请咨询顾问才能实现这些产品中所包含的复杂算法，数据挖掘行业的人通常需要具备数学，尤其是统计领域相关的高级知识。数据挖掘最具挑战性的一面就是理解算法真正的功能，然后在创建的挖掘结构中包含最符合具体业务需求的算法。微软在SQL Server中内置了9种数据挖掘算法，在后面的系列文章中我会介绍更多关于SQLServer数据挖掘技术的潜在功能。