하나의 bucket에 대해 whitelist를 이용하여 , 경로별로 인덱스를 분리하기 위해서 테스트를 진행하였습니다.
설정에 대해서는 아래의 문서를 참고하여, whitelist를 이용하여 데이터를 선택적으로 가져오려고 합니다.
http://docs.splunk.com/Documentation/AddOns/released/AWS/S3
inputs.conf에 아래의 whitelist만 수정하여 데이터를 수집했습니다.
#################################
[aws_s3://test1]
aws_account = test_user
bucket_name = test_bucket
character_set = auto
ct_blacklist = ^$
host_name = s3.amazonaws.com
initial_scan_datetime = 2016-08-25T14:40:08+0900
max_items = 100000
max_retries = 3
polling_interval = 60
recursion_depth = -1
sourcetype = aws:s3
blacklist =
whitelist =
ct_excluded_events_index =
disabled = 0
#################################
설정을 아래와 같이 변경 해보았는데 ,
전체 외에는 데이터 수집이 안되고 있습니다.
whitelist = <<<기본으로 데이터 수집 가능
whitelist = . <<<전체로 데이터 수집 가능
수집불가?
whitelist = .gz
whitelist = .\/2016/08\/[0-9]{2}.+
whitelist =^.+\/2016/08\/[0-9]{2}\/.+\.gz$
whitelist =전체파일명과경로
설정 문제인거 같긴한데 ,정확한 옵션을 잘 모르겠네요 .
↧