Splunk - File/Directory 데이터 입력 하기

Splunk를 운영하기 위해서는 가장 중요한 데이터를 수집을 해야 한다.

여기에서는 로그 수집 방법중 가장 기본이 되는 Splunk의 File/Directory를 이용해서 수집하는 방법을 알아보도록 하겠다.

먼저 로그 수집을 할 수 있는 메뉴인 Data inputs으로 들어가도록 하자.

Data Inputs

그러면 다양한 데이터 입력 방법을 나열되는 것을 알 수 있다.

우리가 확인하고자 하는 Files & Directorires는 가장 처음에 존재한다. 여기에서 Add New를 눌려주자.

이후 디렉토리나 파일을 선택할 수 있는데 여기에서 주의할 부분은 옵션을 선택해 주는 것이 좋다.

Index Once: 파일/디렉토리 선택시 최초 1회 진행한다.

Continuously Monitor: 파일/디렉토리의 변경이 있을 때 추가로 수집한다.(기존에 입력된 데이터 유지)

 

 

Browse를 눌려 수집하고자 하는 디렉토리를 선택하거나 파일을 선택할 수 있다.

디렉토리를 선택하면 해당 디렉토리에 존재하는 파일 중에 입력 가능한 파일(보통 JSON, 텍스트 기반 로구 파일, GZ 기반 포함)에 대해 수집할 수 있는데,

수집을 시작하기 전에 Input Settings을 통해 입력 데이터에 대해서 설정을 해주면 좋다.

그중 중요한 부분이 Source Type과 Index이다.

Source Type은 입력받는 데이터 형태(포맷)을 지정해 줄 수 있다.

보통 Automatic을 이용할 수 있지만, 일부 필드 누락이 발생할 수 있기 때문에 되도록이면 Select를 이용해서 알맞은 필드를 지정하거나 직접 Custom으로 만든 맞춤 타입이 있다면 해당 타입을 설정하도록 하자.

 

두번째로 Index는 데이터를 Splunk에 구분하는 집합이라고 할 수 있다. 따라서 관계가 있는 데이터 끼리 Index를 지정하는 것이 효율적으로 데이터를 관리할 수 있기 때문에 만약 성격이 다르거나 수집 목적이 다르다면 Index를 구분해서 저장하는 것이 좋다.

 

실제 Index를 새로 만들어보면, 이름만 지정해 주면 크게 문제될 부분이 없기 때문에 용도 구분과 추후 데이터 관리를 하기 위해서라도 구분해 주기 바란다.
그리고 Next를 누루면 Review를 하고 실제 Submit을 통해 해당 디렉토리의 파일을 지정한 Index로 데이터를 입력하게 된다.

 

만약에 Continuously Monitor 를 선택하면 추후에도 지속적으로 데이터를 입력할 수 있기 때문에 아래와 같이 빈 디렉토리를 선택하고 간단한 json 파일을 만든경우 바로 Index로 입력되는 것을 알 수 있다.

json 파일 생성

바로 index로 입력된다.

이렇게 입력된 데이터는 해당 파일이 지워지더라도 유지가 되기 때문에, Index가 완료된 파일은 지우고 새로운 파일을 다시 입력할 수도 있다.