it-gundan.com

Amazon S3 로그 파일을 어떻게 구문 분석 할 수 있습니까?

Amazon S3 (Simple Storage) 로그 파일을 구문 분석하는 가장 좋은 옵션은 무엇입니까? 로깅을 설정했으며 이제 다음과 같은 로그 파일이 있습니다.

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

로그 파일을 자동화하는 가장 좋은 옵션은 무엇입니까? S3 이외의 다른 Amazon 서비스를 사용하고 있지 않습니다.

2
artlung

Amazon은 AWStats 사용을 권장하고 AWStats 구성 파일을 설정하는 방법에 대한 지침 을 포함합니다. 또한 AWStats 설치 위치로 로그 다운로드를 자동화하는 몇 가지 방법을 설정해야합니다.

개인적으로 cron을 사용하여 boto 를 사용하여 파일을 가져 오는 Python 스크립트를 설정합니다.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

Qloudstat 를 시작하여 S3 계정에 대한 분석 서비스를 제공합니다.

1
David Kocher