본문 바로가기
반응형

Bigdata/Splunk13

Splunk - HEC 데이터 입력 Splunk에서는 다양한 데이터 전송 방법을 제공하는데, 그중 많이 사용되는 HTTP 를 이용한 전송 방법에 대해서 정리해보겠다.데이터 입력을 위해서는 우선 설정 > 데이터 입력을 실행한다.이후, 아래와 같이 HTTP Event Collector(이하 HEC)에 새로 추가를 선택하도록 하자. 새로 추가를 누르면 총 4단계로 구성이 되는데, 기본적으로 현재 HEC의 이름을 지정해 주면된다. 이외 설정중 인덱서 수신 확인 활성화 체크박스가 있는데, 이벤트가 들어갔을 때 수신 유무를 콜백(회신)해줄것인지를  설정하는 부분이다. 만약에 데이터 입력의 정확성이 중요한 경우 이를 통해서 데이터의 정상 입력 유무를 매 이벤트마다 확인이 가능하다.기본적으로는 사용하지 않는다. 다음을 누르면, 가장 중요한 부분으로 입력.. 2024. 8. 12.
Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다.이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다.Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000다만 이 오류를 조치하기 전에.. 2024. 8. 12.
Splunk - Depolyment and Intermediate/Heavy forwarder 구성 Depolyment 서버앞서 Depolyment 서버를 Universal Forwarder 를 설치할 때  지정할 수 있다.Depolyment 서버를 지정할 경우 Depolyment 서버에서 Universal Forwarder의 상태와 설치된 앱를 모니터링 할 수 있으므로,  Splunk Universal forwarder를 관리하는 용도로 활용할 수 있다. 관리 화면은, Splunk의 포워더 관리에서 가능하다. 메뉴에 들어가면 현재 관리되는 클라이언트 수와 오류가 있는 클라이언트를 쉽게 확인이 가능하다.현재 배포된 App은 실제 SplunkUniversalForwarder\etc\app에서 확인 할 수 있다.이외에도 Depolyment 서버의 IP를 변경하고자 한다면, SplunkUniversalFor.. 2024. 8. 12.
Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다.저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. 다운로드다운로드는 아래 링크에서 진행할 수 있다.Download Universal Forwarder for Remote Data Collection | SplunkLinux 환경 특성상 CLI를 이용하기 때문에 아래 바로 다운받을 수 있는 링크를 이용하면 보다 효과적이.. 2024. 8. 12.
Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다.이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자.1. GUI 활동을 통해 공유자신의 검색 활동은 Splunk의 작업에 저장된다.여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자.이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다.읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가기 링크이다.. 2024. 8. 12.
Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다.Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데,  Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다.예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다.1. Splunk에서 데이터 조회 | Custom Command2. Custom Command로 외부 데이터 조회 | Splunk SPL그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자.1. 앱 생성Spl.. 2024. 8. 12.
Splunk - KV Store 데이터 저장 및 수정하기 KV Store는 Splunk에서 제공하는 기능이다.KV Store 용도는 데이터베이스 처럼 입력 저장 수정등, 쉽게 활용할 수 있어서,Splunk를 사용하고 있다면, 간편하게 사용하기 좋은 저장소라고 할 수 있다. 그럼 가장 간단하게 데이터를 저장하고 수정하는 Python 코드를 작성해보도록 하자.여기에서는 Splunk에서 제공하는 라이브러리를 사용할 예정이며 코드는 다음과 같다.import splunklib.client as client# Splunk 인증 정보host = "localhost"port = 8089username = "admin"password = "your_password"# Splunk SDK 객체 생성service = client.connect( host=host, po.. 2024. 8. 12.
Splunk - KVStore curl을 이용한 RestAPI 관리 여기에서는 KVStore를 CURL를 이용해서 관리하는 방법을 알아보고자 한다.1. 콜렉션 생성/삭제KVStore를 진행하기 위해서는 가장 먼저 콜렉션을 만들어야 한다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config -d name=allmnet_collectionKVStore를 잘못 생성한 경우 DELETE 메소드를 이용하여 삭제할 수 있다.curl -k -u admin:password -X DELETE "https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmnet_collection"2.. 2024. 8. 12.
Splunk - splunklib 설치시 pycrypto 오류 해결 현재 splunklib은 개발이 중단된 라이브러리 이다. 따라서 급하게 사용할 것이 아니라면, Splunk에서 계속 개발하고 있는 splunk-sdk를 정상적으로 사용할 수 있는 최신 Python을 설치하기를 권장한다. splunk-sdk · PyPI여기에서는 spunklib을 사용할 때  필자가 경험했던 오류인 pycrypto 설치 문제를 해결해 보고자 한다.이오류를 해결 하기 위해서는 pycrypto가 아닌 pycryptodome를 설치하여 splunklib이 pycryptodome를 사용하도록 해야 한다.순서는 다음과 같다.1. 만약 pycrypto 가 설치되어 있다면 제거한다.pip uninstall pycrypto2. 이후 pycryptodome를 설치한다.pip install pycryptod.. 2024. 8. 12.
반응형

티스토리툴바