hadoop深入研究:(十五)——Avro Schemas

ling3

转载请写明来源地址：http://blog.iyunv.com/lastsweetop/article/details/9664233

所有源码在github上，https://github.com/lastsweetop/styhadoop

Schema 定义

Schema是JSON格式的，包括下面三种形式：

1.JSON string类型,主要是原生类型

2.JSON 数组，主要是union

3.JSON 对象，格式：

{"type": "typeName" ...attributes...}包括除原生类型和union以外的其他类型，attributes可以包括avro未定义的属性，这些属性并不会影响数据的序列化。原生类型
总共8种原生类型 null,boolean,int,long,float,double,bytes,strings.1.原生类型不需要attributes2.可以通过type指定 “string” 和 ｛"type":"string"｝是等同的3.不同语言的实现是不同的，比如double类型，在C,C++和java里就是double,而在Python里是float，在Ruby里是Float.复合类型

总共6种复合类型 records,enums,arrays,maps,unions,fixed

records

records一般是序列化数据的最终展现单元，而且可以自己嵌套

{
"type": "record",
"name": "LongList",
"aliases": ["LinkedLongs"],                     
"fields" : [
{"name": "value", "type": "long"},            
{"name": "next", "type": ["LongList", "null"]}
]
}enums
枚举，这个很好理解{ "type": "enum",
"name": "Suit",
"symbols" : ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]
}
arrays

数组，一样很好理解

{"type": "array", "items": "string"}maps
map，keys必须是string，所以这里只指定了values的类型{"type": "map", "values": "long"}unions
不能包含两个或者两个以上没有name属性的相同类型 ["string", "null"]fixed
size指定每个值占用多少个字节{"type": "fixed", "size": 16, "name": "md5"}三种mapping
generic mapping
针对一种语言来说可能有不同的mapping，但是所有语言必须支持动态mapping，在处理之前并不知道schemaspecific mapping
java和C++都可以事先生成源代码，比generic mapping有更多domain-oriented的apireflect mapping
使用反射将avro类型转换成java类型，但这种mapping比前两种都慢，故弃用
   
版权声明：本文为博主原创文章，未经博主允许不得转载。