阿里Hadoop集群架构及服务体系 视频观后感

爱若晨风

首先是我关注的安全方面，阿里并没有采用keberos，而是在用户和用户组的基础上加了个密码，用这个来防止用户的冒充。对于其他组的数据的访问用的是 资源注册和申请。然后所有的这些事情也都是在namenode上面做的。

    他们采用的客户端是用跳板机的形式来做初步的安全。


    目前来看他们的规模并不是很大，3000台左右的机器，150个用户组，4500个用户，经常用的是1500个用户。

    namenode无疑会是瓶颈，他们做的一个优化是读写锁，怎么实现我比较好奇。
其他的一些优化是ip漂移，动态的心跳时间。

    在保证系统的稳定上市做了很多的限制，如每个task最大使用内存，一个任务最大使用资源之类的。

    在负载均衡上说是可以动态的调节map或reduse的task，我比较好奇。

    说他们很大的一个困惑是如何快速找bug，和量化效果，如升级前后如何对比效果。

    他们最ha的一个很大的目的是为了更好的升级。

    他们几乎兼容所有的hadoop版本，甚至不少内部版本，这个难度也不小啊。