본문 바로가기
반응형

전체 글972

Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다.이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다.Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000다만 이 오류를 조치하기 전에.. 2024. 8. 12.
Splunk - Depolyment and Intermediate/Heavy forwarder 구성 Depolyment 서버앞서 Depolyment 서버를 Universal Forwarder 를 설치할 때  지정할 수 있다.Depolyment 서버를 지정할 경우 Depolyment 서버에서 Universal Forwarder의 상태와 설치된 앱를 모니터링 할 수 있으므로,  Splunk Universal forwarder를 관리하는 용도로 활용할 수 있다. 관리 화면은, Splunk의 포워더 관리에서 가능하다. 메뉴에 들어가면 현재 관리되는 클라이언트 수와 오류가 있는 클라이언트를 쉽게 확인이 가능하다.현재 배포된 App은 실제 SplunkUniversalForwarder\etc\app에서 확인 할 수 있다.이외에도 Depolyment 서버의 IP를 변경하고자 한다면, SplunkUniversalFor.. 2024. 8. 12.
Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다.저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. 다운로드다운로드는 아래 링크에서 진행할 수 있다.Download Universal Forwarder for Remote Data Collection | SplunkLinux 환경 특성상 CLI를 이용하기 때문에 아래 바로 다운받을 수 있는 링크를 이용하면 보다 효과적이.. 2024. 8. 12.
Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다.이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자.1. GUI 활동을 통해 공유자신의 검색 활동은 Splunk의 작업에 저장된다.여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자.이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다.읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가기 링크이다.. 2024. 8. 12.
Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다.Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데,  Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다.예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다.1. Splunk에서 데이터 조회 | Custom Command2. Custom Command로 외부 데이터 조회 | Splunk SPL그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자.1. 앱 생성Spl.. 2024. 8. 12.
Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자.아래와 같은 명령이 있다고 가정하자.action=purchase | stats count by status | rename count as “events”위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다.이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용하다.그리고 명령어를 보다 최적화해서 사용할 수 있는데 도.. 2024. 8. 12.
Jupyter Notebook 설치하기 with Anaconda 머신 러닝에 사용되는 Jupyter Notebook,라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 이 Jupyter Notebook에 대해 기본 활용 방법에 정리해 보자. 설치Jupyter - Notebook를 설치하기  위해서는 두가지 방법으로 가능하다.1. Jupyter - Notebook만 설치2. Anaconda를 통한 Jupyter - Notebook 설치만약 본인이 필요한 패키지가 제한적이라고 한다면, Jupyter - Notebook만 설치하고 필요한 패키지를 직접 설치할 수 있는 1번 방법이 더 좋을 것이다.Anaconda는 Jupyter - Notebook과 함께  머신 러닝에 많이 .. 2024. 8. 12.
Jupyter - Notebook 기본 활용방법 이전 포스트에서 어떻게 Jupyter - Notebook 설치하는 방법에 대해서 정리한 적이 있다.이렇게 설치한 Jupyter - Notebook의  기본 사용방법에 대해서 알아보도록 하자.기본 사용Jupyter - Notebook은 기본적으로 웹 브라우저에서 간편하게 실행이 가능하도록 구성되어 있다.아래와 같은 웹 탐색기와 같은 화면이 메인 화면이며, 여기에서 파일 생성을 하고자 한다면, 우측에 New 메뉴를 통해서Notebook을 생성할 수 있으며, 기본적으로 Python을 이용하여 실행이 가능하다. NoteBook 파일을 폴더에 모아서 관리하고자 한다면, New -> Folder를 통해 신규 폴더를 생성할 수 있는데,기본 이름인 Untitled Folder 로 생성 된다. 해당 폴더를 체크 박스를 .. 2024. 8. 12.
MySQL - Database 테이블 구조 와 데이터(table, data) 백업하기(Dump) MySQL에서 테이블 구조와 데이터 백업을 한번에 처리할 수 있는 방법은 간단하다.sudo mysqldump -u -p --databases > .sql-p 공간을 비워두면 패스워드가 필요한 경우 자동으로 패스워드 입력으로 넘어가게 된다.만약 root 유저에 asecurity 데이터베이스 테이블 구조까지 백업한다면 다음과 같이 명령하면 된다.sudo mysqldump -u root -p --databases asecurity > asecurity_230308.sql전체가 텍스트 내용이기 때문에 Table 구조만 필요한 경우 해당 내용을 따로 빼둘 수 있다.테이블 단위로 하고 싶다면 database 다음에 공백을 두고 table 이름을 입력하면 된다. 2024. 8. 12.
반응형

티스토리툴바