PHP基础（026）---shell脚本，python脚本，perl 脚本,Hadoop

yvgoodman

　　shell脚本:




在计算机科学中，Shell俗称壳（用来区别于核），是指“提供使用者使用界面”的软件（命令解析器）。它类似于DOS下的command和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。基本上shell分两大类：

一：图形界面shell（Graphical User Interface shell 即 GUI shell）
二：命令行式shell（Command Line Interface shell ，即CLI shell）

shell课程大纲第1章 简介及基础

shell简介及基础

• 
  shell是什么，为什么要学习shell
  
• 
  shell发展史及分类
  
• 
  bash功能简介
  
• 
  部署设置bash环境
  
• 
  shell脚本组成、运行模式及执行方法
  
• 
  bash排错方法
  
• 
  父shell和子shell
  
• 
  常用快捷键
  

第2章 变量

• 
  变量分类
  
• 
  内部变量
  
• 
  预定义变量
  
• 
  自定义变量及基本用法
  
• 
  数组
  
• 
  特殊字符
  
• 
  别名
  
• 
  Here Document
  
• 
  打印特殊字符
  

第3章 循环结构与流程控制

• 
  if条件判断
  
• 
  case条件判断
  
• 
  for循环
  
• 
  while循环
  
• 
  until循环
  
• 
  select命令
  
• 
  break和continue
  

第4章 函数

• 
  函数用法
  
• 
  函数作用范围
  
• 
  参数使用
  
• 
  建立函数库
  
• 
  递归函数
  

第5章 算术运算

• 
  算术式简介
  
• 
  算术扩展
  
• 
  利用expr做算术运算
  
• 
  使用$[]做算术运算
  
• 
  使用内置变量declare、let做算术运算
  
• 
  利用bc做浮点运算
  
• 
  进制转换
  

第6章 重定向与转向

• 
  文件代码
  
• 
  操作文件
  
• 
  输入输出转向
  
• 
  转向附加
  
• 
  标准错误伴随输出转向
  
• 
  Here Document转向
  

第7章 高级变量与字符串操作

• 
  变量扩展：测试存在性及空值
  
• 
  变量扩展：取字符串切片，字符串长度
  
• 
  变量扩展：对比样式
  
• 
  变量扩展：取变量名称列表，数组索引列表
  
• 
  命令替换
  

第8章 正则表达式

• 
  入门介绍
  
• 
  元字符
  
• 
  字条转义
  
• 
  重复
  
• 
  字符类
  
• 
  分支条件
  
• 
  反义
  
• 
  分组
  
• 
  后向引用
  
• 
  零宽断言与负向零宽断言
  
• 
  贪婪与懒惰
  
• 
  注释
  
• 
  处理选项
  
• 
  平衡组/递归匹配
  

第9章 sed编辑器

• 
  sed介绍
  
• 
  sed基本语法
  
• 
  sed调用方式
  
• 
  sed高级用法
  

第10章 awk学习

• 
  awk原理介绍
  
• 
  awk基本语法
  
• 
  awk调用方式
  
• 
  awk循环语句
  
• 
  awk函数
  
• 
  awk数组
  
• 
  awk的BEGIN和END模式
  
• 
  awk数学运算和字符串操作
  
• 
  awk重定向输出
  
• 
  awk与bash之间传参调用
  
• 
  awk调试方法
  

第11章 文字与图形接口编程

• 
  dialog文本接口编程
  
• 
  xdialog图形接口编程
  

第12章 bash网络编程

• 
  bash网络转向
  
• 
  远程执行命令
  
• 
  expect与自动登录
  

第13章 trap陷阱触发

• 
  信号signal
  
• 
  trap运用
  

第14章 shell脚本加密与包装

• 
  加密shell脚本
  
• 
  生成二进制可执行文件
  

第15章 shell中常用命令介绍

• 
  grep命令详解
  
• 
  find与xargs
  
• 
  sort和uniq命令详解
  
• 
  cut命令详解
  
• 
  curl与wget命令详解
  
• 
  cat、tac与rev
  
• 
  tr命令详解
  
• 
  paste命令详解
  
• 
  join命令详解
  

第16章 一些shell技巧

• 
  利用脚本修改密码
  
• 
  判断奇偶
  
• 
  添加行号与删除行号
  
• 
  删除行首空格，删除重复行
  
• 
  合并行操作
  
• 
  逐行读取操作
  
• 
  字符与ASCII码转换操作
  
• 
  连接mysql数据库操作
  

第17章 shell十三问

• 
  PS1和CR的关系
  
• 
  echo知多少
  
• 
  “”(双绰号)与”(单引号)差在哪儿
  
• 
  export前后差在哪儿
  
• 
  exec跟source差在哪儿
  
• 
  ()与{}差在哪儿
  
• 
  $(())和$()、${}差在哪儿
  
• 
  $@和$*差在哪儿
  
• 
  &&和||差在哪儿
  
• 
  >和<差在哪儿
  
• 
  你要if还是case
  
• 
  for what?while和until差在哪儿？
  
• 
  [^ ]和[! ]差在哪儿
  

第18章 综合实战讲解一

• 
  系统信息收集脚本
  
• 
  备份脚本
  
• 
  日志切割脚本
  
• 
  nagios监控插件脚本
  
• 
  发邮件脚本
  

第19章 综合实战讲解二

• 
  系统初始化脚本
  
• 
  基础软件安装脚本
  
• 
  iptables脚本
  
• 
  线上操作记录审核脚本
  
• 
  文本完整性审核脚本
  
• 
  kickstart配置脚本
  

　　python脚本,perl脚本
　　Hadoop:




一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。
　　Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

• 
  高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
  
• 
  高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
  
• 
  高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
  
• 
  高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
  
• 
  低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
  

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
Hadoop 的最常见用法之一是 Web 搜索。