开源日志收集系统Scribe学习笔记(一) 参数说明

shuaiwei588

　　          本博客属原创,转载请注明出处:http://guoyunsky.iteye.com/blog/1654505
　　        开始要使用开源日志收集系统scribe去收集日志,花了一点时间整理了下它的各种参数.由于只是学习阶段,难免理解/翻译有误,以后再使用过程中再慢慢整理修改总结吧.
　　 
　　 一.scribe配置参数的两种方式:
　　1) 通过命令行,-c commandname
　　2) 通过指定配置文件
　　 
　　二.全局参数
　　1)port: (number)
　　scribe监听的端口
　　默认为0
　　可以通过命令行-p指定
　　2)max_msg_per_second: (number)
　　每秒最大日志并发数
　　默认为0,0则表示没有限制
　　在scribeHandler::throttleDeny中使用
　　3)max_queue_site:(byte)
　　队列最大可以为多少
　　默认为5,000,000 bytes
　　在scribeHandler::Log中使用
　　4)check_interval:(second)
　　检查存储的频率
　　默认为5
　　5)new_thread_per_category:(yes/no)
　　是否为每个一个分类创建一个线程,为false的话,只创建一个线程为每个存储服务
　　默认为yes
　　6)num_thrift_server_threads:(number)
　　接收消息的线程数
　　默认为3
　　 
　　三.store大概配置
　　1.三种store方式:
　　1)default store:默认分类,处理其他store无法处理的分类.每个消息都应该指定一个store cateogry
　　2)prefix store: 前缀分类
　　3)multiple categories:多个分类
　　2.store配置参数说明:(string)
　　1)cateogry:
　　哪些消息由这个category的store处理
　　2)type: 
　　store类型,有file,buffer,network,bucket,thriftfile,null,multi
　　3)target_write_size:(byte)
　　对应category的消息在处理之前,消息队列最大可以为多大
　　默认为16,384
　　4)max_batch_size:(byte)
　　内存存储队列一次性可以处理的消息数量,超过这个大小将调用thrift
　　5)max_write_interval:(second)
　　对应category的消息队列在处理消息这些消息之前可以维护多长时间
　　默认为1秒
　　6)must_succeed:(yes/no)
　　消息是否必须要成功处理,如果一个消息存储失败再重试,如果设置为no,则如果一个消息存储失败,则该条消息会被抛弃.强烈建议使用buffer store去指定一个secondary store去处理失败的消息
　　默认为yes
　　3.例子:
　　<store>
　　category=statistics
　　type=file
　　target_write_size=20480
　　max_write_interval=2
　　</store>
　　 
　　四.file-store配置
　　1.概述
　　store消息到文件
　　2.参数说明
　　1)file_path:(string)
　　文件路径
　　默认为default
　　2)base_file_name:(string)
　　文件名字
　　默认为category名字
　　3)use_hostname_sub_directory:(yes/no)
　　是否使用服务器的hostname作为子目录
　　默认为no
　　4)sub_directory:(string)
　　子目录名
　　5)rotate_period:(hourly,daily,never,number[suffix])
　　多长时间创建一个文件
　　i.hourly:多少小时;
　　ii.daily:多少天;
　　iii.never:从不;
　　iv.number[suffix]:其中suffix可以为s,m,h,d,w,对应秒,分钟,小时,天,星期,默认为s
　　默认为never
　　6)rotate_hour:(0-23)
　　如果rotate_period=daily,每隔1天多少小时创建一个文件
　　默认为1
　　7)rotate_minute:(0-59)
　　如果rotate_period=daily或hourly,每隔一天多少分钟或者1小时多少分钟创建一个文件
　　默认为15
　　8)max_site:(bytes)
　　文件大约到多大时写入到一个新的文件
　　默认为1,000,000,000
　　9)write_meta:(yes/no)
　　是否写入元数据,如果是yes,则一个文件的最后一行为write_meta加下一个文件名
　　10)fs_type:(std/hdfs)
　　文件系统类型,有std和hdfs
　　默认为std
　　11)chunk_size:(number)
　　chunk大小,如果指定了则文件内的任何消息都不会越过这个数值,除非消息本身比chunk大
　　默认为0
　　12)add_newlines:(0/1)
　　是否每写入一个消息就新增一行,1表示新增
　　默认为0
　　13)create_symlink:(yes/no)
　　如果为yes,则会维护一个符号链接指向最近写入的文件
　　默认为yes
　　14)write_stats:(yes/no)
　　如果为yes,则会为每一个store创建一个scribe_stats文件去跟踪文件写
　　默认为yes
　　15)max_write_size:(byte)
　　当块大小大到max_write_size时,store会将数据刷新到文件系统,max_write_size不能超过max_site.由于target_write_size大小的消息被缓存,file-store会被调用去保存这些缓存中的消息.file-store每次最少会保存max_write_size大小的消息,但file-store最后一次保存消息的大小肯定会小于max_write_size.
　　默认值为1,000,000
　　3.例子:
　　<store>
　　category=sprockets
　　type=file
　　file_path=/tmp/sprockets
　　base_filename=sprockets_log
　　max_size=1000000
　　add_newlines=1
　　rotate_period=daily
　　rotate_hour=0
　　rotate_minute=10
　　max_write_size=4096
　　</store>
　　 
　　五.network-store配置
　　1.概述
　　scribe可以将消息发送到其他scribe.scribe会保持长连接到其他scribe,除非发生错误或者超载才会重新连接.scribe以批处理的方式将消息发送到其他scribe
　　2.参数
　　1)remote_host:(String)
　　要发送到的scribe服务器的host name或者ip
　　2)remote_port:(number)
　　要发送到的scribe服务器的端口
　　3)timeout:(millisecond)
　　socket超时时间
　　默认为5000,对应DEFAULT_SOCKET_TIMEOUT_MS变量
　　4)use_conn_pool:(yes/no)
　　是否使用连接池
　　默认为false
　　3.例子:
　　<store>
　　category=default
　　type=network
　　remote_host=hal
　　remote_port=1465
　　</store>
　　 
　　六.buffer-store配置
　　1.概述:
　　每个buffer-store都应该要有primary和secondary两个子store.buffer-store会先尝试将消息写到primary-store,如果写入不成功则会暂时写到secondary-store,但一旦primary-store重新接,buffer-store则又会从secondary-store读取消息再发送到primary-store,但如果replay_buffer=no则不会这样做.secondary-store只支持这两种sotre:file和null
　　2.参数:
　　1)buffer_send_rate:(number)
　　每次check_interval,做多少次从secondary-store将数据发送到primary-store
　　默认为1
　　2)retry_interval:(second)
　　将secondary-store数据发送到primary-store的间隔,单位为秒
　　默认为300
　　3)retry_interval_range:(second)
　　在retry_interval范围内随机产生一个时间间隔
　　默认为60
　　4)replay_buffer:(yes/no)
　　如果设置为yes,会将失败的消息从secondary-store移到primary-store中
　　3.例子:
　　<store>
　　category=default
　　type=buffer
　　buffer_send_rate=1
　　retry_interval=30
　　retry_interval_range=10
　　  <primary>
　　    type=network
　　    remote_host=wopr
　　    remote_port=1456
　　  </primary>
　　  <secondary>
　　    type=file
　　    file_path=/tmp
　　    base_filename=thisisoverwritten
　　    max_size=10000000
　　  </secondary>
　　</store>
　　 
　　七.bucket-store配置
　　1.概述:
　　bucket-store可以理解为并行store,会通过每一个消息的前缀作为key散列之后写到多个文件.你可以隐式(只使用一个bucket定义)或显式的定义bucket(每个bucket使用一个bucket定义).隐式定义的bucket必须有一个名为bucket的子store,并且这个子store只能是file-store,network-store或者thriftfile-store.
　　2.参数:
　　1)num_buckets:(number)
　　多少个bucket,如果消息无法hash则会放入一个编号为0的bucket
　　默认为1
　　2)bucket_type:(key_hash,key_modulo,random)
　　bucket类型
　　3)delimiter(1-255的ascii代码)
　　第一次出现在消息前缀中的delimiter在key_hash或key_modulo中被当作key.random不会使用delimiter.
　　4)remove_key:(yes/no)
　　如果为yes,则会删除每个消息的前缀key
　　默认为false
　　5)bucket_subdir:(string)
　　如果是使用单个bucket定义,则每个文件的子目录名字为该值加bucket的hash编号
　　3.例子:
　　1).通用例子
　　<store>
　　category=bucket_me
　　type=bucket
　　num_buckets=5
　　bucket_subdir=bucket
　　bucket_type=key_hash
　　delimiter=58
　　  <bucket>
　　    type=file
　　    fs_type=std
　　    file_path=/tmp/scribetest
　　    base_filename=bucket_me
　　  </bucket>
　　</store>
　　2).单一定义bucket,你可以显式的定义每个bucket
　　<store>
　　category=bucket_me
　　type=bucket
　　num_buckets=2
　　bucket_type=key_hash
　　  <bucket0>
　　    type=file
　　    fs_type=std
　　    file_path=/tmp/scribetest/bucket0
　　    base_filename=bucket0
　　  </bucket0>
　　  <bucket1>
　　    ...
　　  </bucket1>
　　  <bucket2>
　　    ...
　　  </bucket2>
　　</store>
　　3)定义network-store的bucket
　　<store>
　　category=bucket_me
　　type=bucket
　　num_buckets=2
　　bucket_type=random
　　  <bucket0>
　　    type=file
　　    fs_type=std
　　    file_path=/tmp/scribetest/bucket0
　　    base_filename=bucket0
　　  </bucket0>
　　  <bucket1>
　　    type=network
　　    remote_host=wopr
　　    remote_port=1463
　　  </bucket1>
　　  <bucket2>
　　    type=network
　　    remote_host=hal
　　    remote_port=1463
　　  </bucket2>
　　</store>
　　 
　　八.null-store配置
　　1.概述:
　　null-store用于忽略指定category的消息
　　2.没有参数
　　 3.例子:
　　<store>
　　category=tps_report*
　　type=null
　　</store>
　　 
　　九.multi-store配置
　　1.概述:
　　multi-store会将消息存储到它的多个子store中.一个multi-store有多个子store,命名为store0,store1,store2等.
　　2.参数:
　　1)report_success:(all/any)
　　是否所有子sotre存储成功再报告为成功还是只要任何一个子sotre存储成功就回报为成功
　　默认为all
　　3.例子:
　　<store>
　　category=default
　　type=multi
　　target_write_size=20480
　　max_write_interval=1
　　  <store0>
　　    type=file
　　    file_path=/tmp/store0
　　  </store0>
　　  <store1>
　　    type=file
　　    file_path=/tmp/store1
　　  </store1>
　　</store>
　　 
　　十.thriftfile-store配置
　　1.概述:
　　thriftfile-store也是file-store的一种,只不过存储消息到的文件为TFileTransport文件
　　2.参数:
　　1)file_path:(string)
　　要写入的文件路径
　　默认为/tmp
　　2)base_filename:(string)
　　要写入的基本文件名
　　默认为category名字
　　3)rotate_period:(hourly,daily,never,number[suffix])
　　多长时间创建一个文件
　　i.hourly:多少小时;
　　ii.daily:多少天;
　　iii.never:从不;
　　iv.number[suffix]:其中suffix可以为s,m,h,d,w,对应秒,分钟,小时,天,星期,默认为s
　　默认为never
　　4)rotate_hour:(0-23)
　　如果rotate_period=daily,每隔1天多少小时创建一个文件
　　默认为1
　　5)rotate_minute:(0-59)
　　如果rotate_period=daily或hourly,每隔一天多少分钟或者1小时多少分钟创建一个文件
　　默认为15
　　6)max_site:(bytes)
　　文件大约到多大时写入到一个新的文件
　　默认为1,000,000,000
　　7)fs_type:(std/hdfs)
　　文件系统类型,有std和hdfs
　　默认为std
　　8)chunk_size:(number)
　　chunk大小,如果指定了则文件内的任何消息都不会越过这个数值,除非消息本身比chunk大
　　默认为0
　　9)create_symlink:(yes/no)
　　如果为yes,则会维护一个符号链接指向最近写入的文件
　　默认为yes
　　10)flush_frequency_ms: (milliseconds)
　　多长时间同步thrift文件到硬盘
　　默认为3000
　　11)msg_buffer_site: (buffer)
　　store将会拒绝存储大于msg_buffer_site
　　默认为0,存储任何文件
　　3.例子:
　　<store>
　　category=sprockets
　　type=thriftfile
　　file_path=/tmp/sprockets
　　base_filename=sprockets_log
　　max_size=1000000
　　flush_frequency_ms=2000
　　</store>
　　整理翻译自:https://github.com/facebook/scribe/wiki/Scribe-Configuration
更多技术文章、感悟、分享、勾搭，请用微信扫描: