it-gundan.com

로그 전송 및 집계 규모

UNIX/Linux 컴퓨터에서 로그 파일을 분석하는 방법은 무엇입니까? 우리는 모두 수백 개의 서버를 실행하여 직접 또는 syslog를 통해 자체 로그 파일을 생성합니다. 나는 이것들을 집계하고 중요한 사건을 선택하기위한 괜찮은 솔루션을 찾고 있습니다. 이 문제는 3 가지 구성 요소로 나뉩니다.

1) 메시지 운송

고전적인 방법은 syslog를 사용하여 원격 호스트에 메시지를 기록하는 것입니다. 이것은 syslog에 로그인하지만 로컬 파일에 쓰는 앱에 유용한 응용 프로그램에 대해서는 이렇게합니다. 이를위한 솔루션에는 응용 프로그램 로그가 FIFO syslog를 사용하여 메시지를 보내거나 로컬 파일을 grep을 작성하고 중앙 파일로 출력을 보내는 것을 보내서 메시지를 보내십시오. 호스트. 그러나 Syslog에 메시지를 가져 오는 도구를 작성하는 데 문제가있는 경우 Facebook의 scribe 같은 융통성과 신뢰성을 제공하는 더 많은 롯트를 더 잘 대체 할 수 있습니까?

2) 메시지 집합

로그 항목은 호스트 당 호스트 및 서비스별로 두 가지 유형 중 하나로 떨어지는 것 같습니다. 호스트 별 메시지는 하나의 시스템에서 발생하는 메시지입니다. 디스크 오류 또는 의심스러운 로그인을 생각하십시오. 서비스 별 메시지는 대부분 또는 서비스를 실행하는 호스트에서 발생합니다. 예를 들어, Apache가 SSI 오류를 찾을 때 우리는 100 대의 기계에서 동일한 오류를 원하지 않는지 알고 싶습니다. 모든 경우에만 우리는 각 유형의 메시지 중 하나를보고 싶습니다. 우리는 동일한 디스크가 실패한 10 개의 메시지가 실패한 메시지를 원하지 않으며 깨진 SSI가 밑을 때마다 메시지를 원하지 않습니다.

해결하기위한 한 가지 방법은 각 호스트의 동일한 유형의 여러 메시지를 하나로 집계하고 중앙 서버에 메시지를 보내고 동일한 종류의 메시지를 하나의 전체 이벤트로 집계하는 것입니다. SER 이것을 할 수 있지만 사용하기가 어색합니다. 며칠 후에도 Fiddling의 며칠이 지난 후에도 오직 초보적인 집계 만 일하고 이벤트를 상관시키는 데는 논리 Ser 사용을 끊임없이 조회해야했습니다. 그것은 강력하지만 까다로운 것들 : 나는 동료가 가능한 가장 짧은 시간에 픽업하고 사용하는 것을 필요로합니다. Ser 규칙은 그 요구 사항을 충족시키지 못합니다.

3) 경고 생성

흥미로운 일이 일어날 때 우리는 어떻게 우리의 관리자에게 말합니다. Group Inbox를 우편으로 보내시겠습니까? Nagios에 주입합니까?

그래서, 당신은이 문제를 해결 하는가? 나는 접시에 답변을 기대하지 않는다. 나는 자세한 내용을 일할 수 있지만 확실히 공통적 인 문제가 무엇인지에 대한 높은 수준의 토론은 훌륭합니다. 현재 우리는 Cron Jobs, Syslog의 Mishmash를 사용하고 있으며 이벤트를 찾는 다른 것을 알고 있습니다. 이것은 확장 가능하고 유지 보수가 가능하거나 유연하지 않으며, 우리는 우리가해서는 안되는 많은 것들을 그리워합니다.

업데이트 : 이미 호스트/테스트 서비스/etc을 감지했지만 로그 파일을 긁어 모니터링 할 때 덜 유용한 모니터링을 위해 Nagios를 사용하고 있습니다. Nagios에 대한 로그 플러그인이 있지만 호스트 별 경고보다 더 확장 가능하고 계층 적으로 뭔가가 관심이 있습니다.

14
markdrayton

로그를 중앙 집중화하기 위해 세 가지 시스템을 사용했습니다.

  1. Syslog/syslog-ng 전달 하나의 호스트로 전달됩니다
  2. 이벤트 집계 및 경고를위한 Zenoss
  3. Splunk 로그 집계 및 검색을위한

# 3의 경우, 나는 일반적으로 syslog-ng를 사용하여 각 호스트의 메시지를 Splunk로 직접 전달합니다. 또한 로그 파일을 직접 구문 분석 할 수도 있지만 통증이 약간 일 수 있습니다.

Splunk는 귀하의 로그를 검색하고 분류하는 데 꽤 굉장합니다. 나는 로그 알림을 위해 Splunk를 사용하지 않았지만, 가능하다고 생각합니다.

5
Gary Richardson

OSSEC, 완전한 오픈 소스 HIDS를 살펴볼 수 있습니다. 로그 분석을 수행하고 작업을 트리거하거나 알리미에서 메일을 보낼 수 있습니다. 경고는 간단한 XML 기반 규칙 집합으로 트리거링되며 다양한 로그 형식이 포함되어 있으며 사용자가 자신의 규칙을 추가 할 수 있습니다.

http://www.ossec.net/ .

2
Guillaume