본문 바로가기
반응형

Bigdata/Splunk12

Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자. 아래와 같은 명령이 있다고 가정하자. action=purchase | stats count by status | rename count as “events” 위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다. 이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용핟. 그리고 명령어를 보다 최적화해서 사용할 수 있.. 2022. 5. 25.
Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다. Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데, Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다. 예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다. 1. Splunk에서 데이터 조회 | Custom Command 2. Custom Command로 외부 데이터 조회 | Splunk SPL 그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자. 1. 앱 .. 2022. 5. 23.
Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다. 이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자. 1. GUI 활동을 통해 공유 자신의 검색 활동은 Splunk의 작업에 저장된다. 여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자. 이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다. 읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가.. 2022. 5. 1.
Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다. 저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. Splunk - 윈도우 Universal Forwarder와 Receiver 그리고 Depolyment 이해 (tistory.com) Splunk - 윈도우 Universal Forwarder와 Receiver 그리고 Depolyment 이해 Splunk에는 시스템에.. 2022. 4. 11.
Splunk - Depolyment and Intermediate/Heavy forwarder 구성 Depolyment 서버 앞서 Depolyment 서버를 Universal Forwarder 를 설치할 때 지정할 수 있다. Depolyment 서버를 지정할 경우 Depolyment 서버에서 Universal Forwarder의 상태와 설치된 앱를 모니터링 할 수 있으므로, Splunk Universal forwarder를 관리하는 용도로 활용할 수 있다. 관리 화면은, Splunk의 포워더 관리에서 가능하다. 메뉴에 들어가면 현재 관리되는 클라이언트 수와 오류가 있는 클라이언트를 쉽게 확인이 가능하다. 현재 배포된 App은 실제 SplunkUniversalForwarder\etc\app에서 확인 할 수 있다. 이외에도 Depolyment 서버의 IP를 변경하고자 한다면, SplunkUniversalF.. 2022. 4. 10.
Splunk - 윈도우 Universal Forwarder 설치/구성 Splunk에는 시스템에서 데이터 수집을 원활하게 도와주는 Universal Forwarder가 존재하는데, Universal Forwarder는 다양한 기능을 내장하고 있다. 이러한 기능은 작게는 서버의 로그를 수집하는 용도부터 Forwarder 기능까지 활용이 가능하다. 그럼 간단히 어떻게 사용할 수 있는지 Universal Forwarder에 대해 알아보자. Reciever 설정하기 Universal Forwarder를 사용하기 위해서는 Splunk에서 데이터 입력을 받을 수 있도록 Receiver를 등록해 두어여 한다. 아래 그림처럼 Splunk로 들어가 설정에서 전달 및 수신을 선택하자. 이후 수신 설정에서 새로 추가를 선택하여 기본 포트인 9997로 Receiver를 만들 수 있다. 만약 전체.. 2022. 4. 6.
Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다. 이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다. Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000 다만 이 오류를 조치하기.. 2022. 3. 31.
Splunk - HEC 데이터 입력 Splunk에서는 다양한 데이터 전송 방법을 제공하는데, 그중 많이 사용되는 HTTP 를 이용한 전송 방법에 대해서 정리해보겠다. 데이터 입력을 위해서는 우선 설정 > 데이터 입력을 실행한다. 이후, 아래와 같이 HTTP Event Collector(이하 HEC)에 새로 추가를 선택하도록 하자. 새로추가를 누르면 총 4단계로 구성이 되는데, 기본적으로 현재 HEC의 이름을 지정해 주면된다. 이외 설정중 인덱서 수신 확인 활성화 체크박스가 있는데, 이벤트가 들어갔을 때 수신 유무를 콜백(회신)해줄것인지를 설정하는 부분이다. 만약에 데이터 입력의 정확성이 중요한 경우 이를 통해서 데이터의 정상 입력 유무를 매 이벤트마다 확인이 가능하다. 기본적으로는 사용하지 않는다. 다음을 누르면, 가장 중요한 부분으로 입.. 2022. 3. 31.
반응형