Hadoop、spark、hive的原理及其在金融领域的应用

zjp0633

　　首先百度百科了各个词条的含义：
　　Hadoop
　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
　　用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
　　[1]  Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
　　

SPARK （Spark）  　　

　　Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
　　Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
　　Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
　　Hadoop
　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
　　用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
　　[1]  Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
　　大数据对风控的帮助
　　大数据可以提供全面的多角度的数据，降低借款人的贷款的风险。
　　企业指标：宏观指标，行业指标，企业指标，财务指标
　　个人指标：宏观，行业，个人。
　　指标频率：日，月，季，年
　　个人版风控系统查询:
　　A个人收入
　　B银行流水
　　C负债
　　D汽车折旧系数
　　E房产折现系数
　　企业版风控系统查询
　　绝对指标
　　A资产总计
　　B负债总计
　　C营业总成本/营业总收入
　　D销售毛利率
　　现金收益
　　E净资产收益率ROE
　　F经营活动净收益/利润总额（TTM）
　　G经营性现金净流量/营业总收入
　　H筹资活动产生的现金流量净额占比
　　I投资活动产生的现金流量净额占比
　　偿债能力
　　J资产负债率
　　K有形资产/总资产
　　L权益乘数
　　M流动比率
　　N速动比率
　　营运能力
　　O存货周转率
　　P应收账款周转率
　　Q应付账款周转率
　　R净资产（同比增长率）
　　S固定资产投资扩张率
　　T利润总额/息税前利润
　　U股东权益合计/负债总计
　　V. EBITDA率%
　　风控流程
　　3.1业务流程
　　1.借款人进行咨询；
　　2.填写申请表和有关资料，提交给业务员；
　　3.业务员添加客户至客户室；
　　4.业务员为客户发起授信申请，进入授信审核，审核成功后，借款人获得授信额度。
　　5.业务员为借款人发起借款申请，进入借款审核，审核成功后，财务放款，借款成功.
　　3.2授信审核流程（贷前流程）
　　1.业务员为自己客户发起授信申请；
　　2.业务主管进行初审，审核通过进入风控委员初审，驳回返回上级，拒绝的授信失败；
　　3.风控委员进行初审；
　　4.风控主管进行复审；
　　5.贷审会进行审核；
　　6.总经理进行终审，审核通过，授信成功，借款人获得授信额度。
　　3.3
　　借款审核流程（贷中流程）
　　1.借款人拥有一定的授信额度，业务员为借款人发起借款申请；
　　2.业务主管进行初审，审核通过进入风控委员初审，驳回返回上级，拒绝的授信失败；
　　3.风控委员进行初审；
　　4.风控主管进行复审；
　　5.总经理进行终审；
　　6.审核通过的，财务放款，借款人借款成功。
　　3.4贷后流程
　　贷款到期，借款人还款。其中借款人可以提前还款，若到期未能还款，则有展期申请、强制结清、押品结清、押品处置、违约金法系处理。
　　借款人还清贷款，即可拿回抵押物品。
　　四。风险管理全面解决方案