Azure 大数据分析架构数据流

甜思思

前言：

　　离11月份越来越近了，天也慢慢的要凉了起来，冬天慢慢的在靠近我们。不过对于Azure来说，冬天就像一把火，此话怎么讲呢？预计11月中旬，Mooncake 版的Azure将要发布Linux 版本的Hadoop，当然现有的Windows版本Hadoop尽管不太符合搞数据同志们的习惯，尽管现有的H adoop效果还算OK，但我相信，对于搞数据的同志们Linux的到来，无论是性能上，还是效果上，将会为这个冬天添上了一把火。所以呢，想把数据分析这块业务分享给大家。
　　架构分析：
　　今天简单的说下MS Azure平台上Data Mining 是如何做的
　　本文主要是针对Azure Global做的，因为这个架构在国外确实很火，
　　不过，在Mooncake上除了Machine Learning 没有外其它的应该都不缺哈。
　　数据流架构图：
　　Note:总计15条数据流，下面我们简单的解释下15条数据流的简单含义。
　　Website可以是Azure PaaS服务同样也可以是IaaS VM总之每个环节都很灵活
　　好好理解这个架构师需要架构设计经验，和业务经验，但不一定最优的架构，
　　我们可以根据我们自己的业务来设计合适的架构。

　　数据分析︰
　　日志分析是任何网站或 web 服务器，以获得更多的洞察力分析行为的重要组成部分。这些数据的大小、 速度和各种日志文件属于大数据，然而它们并不适合直接到一些传统的系统处理。微软 Azure 平台的服务，比如 HDInsight，Blob 存储和机器学习与使此任务容易得多。
　　(1)    用户访问Azure的网站，将会留下了一连串数据，我们可以挖掘及信息提取。
　　(2)Azure的网站会将 的底层结构化的数据存储在AzureSQL。
　　(3)Azure的网站将会产生点击流数据和使用日志。
　　(4)用户的操作信息无论在Azure上或处在本地服务器上的将会生成 （如服务器、 安全性或审计）。
　　(5)访问各各系统产生的这种非结构化 / 半结构化的数据存储在的 Blob 存储中。
　　(6)HDInsight 来处理非结构化/半-结构化数据，使用 Hadoop 工具Hive、 Pig和Mahout。它也可以使用 Sqoop 和 Oozie 的来进行数据的移动。对于实时的数据，我们可以使用风Storm和 HBase。
　　(7)HDInsight 支持 PowerShell 自动化任务，如创建和删除集群、 运行 MapReduce 程序、 运行Pig命令，等等。
　　(8)SQOOP 可以与结构化数据就像 Azure SQL 数据库进行交互，并且从HDInsight (Hadoop) 集群导入或导出数据。
　　(9)在 HDInsight 中处理过的数据将会被送入现有数据仓库（DW），其途径是通过常见的 ETL 通道，丰富其中所载的信息都是ETL的作用。
　　(10)Azure的Machine Learning （以下简称：ML 目前仅支持国际版） 访问处理Hive的表，以发现和预测的数据的趋势，同样的可以做/协助安全/性能风险的分析。
　　(11)ML将预测的信息发给现有的数据仓库。
　　(12)ML同样也将预测信息发给 Azure 网站，网站用户中心基于预测信息将会对用户做操作。
　　(13)数据仓库作为源数据供 BI 系统做展现，例如：Power BI、 SQL Server分析服务，或者客户自定义应用程序来创建数据模型来展现。
　　(14)HDInsight 可以将处理过的和加工的日志信息发给 BI 系统。
　　(15)BI 系统将把基于信息模型处理过数据展现到仪表板，或者以报告模式提供最终用户，报告产生的工具有:Power View, Power Map, SQL Server Reporting Services, andSharePoint BI。
　　一道小菜：
　　提供给大家，也许对你会有用，如果你经常要英文邮件交流的情况下。
　　工作常用的英文简写语：
　　FTE: Full time employee. 工作中常用于称呼接口联系的客户。相对于客户，我们是“Vendor”(供应商）。
　　EOD: End of day. e.g. “I need your take-awayfrom the off-site by EOD tomorrow."
　　ETA: Estimated time of arrival. 一般用在表示计划完成时间。
　　OOF: Out of Office. 不在办公室，请假。e.g. “I am OFF today”.
　　TBD: Acronym meaning To Be Determined. 未决，未定。 “ThatFAQ is TBD.”
　　EOM: (Often lower-cased.) “End of message.”放在句尾，表示内容结束。下面没有别的信息了。 e.g. “Out Sick Today. eom“
　　FYI: For your information. 供你参考。一般用在转发邮件时，表示希望对方接收邮件信息，不期望得到回复。
　　BTW: By the way. 另外一个缩略语：“PS.”也表示附加说明一下的意思。
　　CIL: See in line. 邮件回复中出现，一般表示加在上封邮件的基础上的一些注释，请查看。
　　ASAP: as soon as possible 尽快，表示紧急需求。
　　N/A: not applicable 表示不适用，经常出现在表格中，表示否定。
　　FAQ: frequently asked questions 常见问题
　　Tip：注意缩略语在句子中使用得当，小心语法错误。e.g. CIL(See in Line), don’t say: “Please see CIL below”. Pleaseclearly know the full phase mean and then use it.
　　谢谢大家阅读到这里！