본문 바로가기

Bigdata17

Jupyter - Notebook 기본 활용 이전 포스트에서 어떻게 Jupyter - Notebook 설치하는 방법에 대해서 정리한 적이 있다. Jupyter - Notebook only/Anaconda 설치 (asecurity.dev) Jupyter - Notebook only/Anaconda 설치 머신 러닝에 사용되는 Jupyter Notebook, 라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 asecurity.dev 이렇게 설치한 Jupyter - Notebook의 기본 사용방법에 대해서 알아보도록 하자. 기본 사용 Jupyter - Notebook은 기본적으로 웹 브라우저에서 간편하게 실행이 가능하도록 구성되어 있다. 아래와 같은 웹 .. 2022. 7. 21.

Jupyter - Notebook only/Anaconda 설치 머신 러닝에 사용되는 Jupyter Notebook, 라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 이 Jupyter Notebook에 대해 기본 활용 방법에 정리해 보자. 설치 Jupyter - Notebook를 설치하기 위해서는 두가지 방법으로 가능하다. 1. Jupyter - Notebook만 설치 2. Anaconda를 통한 Jupyter - Notebook 설치 만약 본인이 필요한 패키지가 제한적이라고 한다면, Jupyter - Notebook만 설치하고 필요한 패키지를 직접 설치할 수 있는 1번 방법이 더 좋을 것이다. Anaconda는 Jupyter - Notebook과 함께 머신 러닝에.. 2022. 6. 7.

Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자. 아래와 같은 명령이 있다고 가정하자. action=purchase | stats count by status | rename count as “events” 위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다. 이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용핟. 그리고 명령어를 보다 최적화해서 사용할 수 있.. 2022. 5. 26.

Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다. Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데, Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다. 예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다. 1. Splunk에서 데이터 조회 | Custom Command 2. Custom Command로 외부 데이터 조회 | Splunk SPL 그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자. 1. 앱 .. 2022. 5. 23.

Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다. 이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자. 1. GUI 활동을 통해 공유 자신의 검색 활동은 Splunk의 작업에 저장된다. 여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자. 이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다. 읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가.. 2022. 5. 1.

Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다. 저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. Splunk - 윈도우 Universal Forwarder와 Receiver 그리고 Depolyment 이해 (tistory.com) Splunk - 윈도우 Universal Forwarder와 Receiver 그리고 Depolyment 이해 Splunk에는 시스템에.. 2022. 4. 11.

Splunk - Depolyment and Intermediate/Heavy forwarder 구성 Depolyment 서버 앞서 Depolyment 서버를 Universal Forwarder 를 설치할 때 지정할 수 있다. Depolyment 서버를 지정할 경우 Depolyment 서버에서 Universal Forwarder의 상태와 설치된 앱를 모니터링 할 수 있으므로, Splunk Universal forwarder를 관리하는 용도로 활용할 수 있다. 관리 화면은, Splunk의 포워더 관리에서 가능하다. 메뉴에 들어가면 현재 관리되는 클라이언트 수와 오류가 있는 클라이언트를 쉽게 확인이 가능하다. 현재 배포된 App은 실제 SplunkUniversalForwarder\etc\app에서 확인 할 수 있다. 이외에도 Depolyment 서버의 IP를 변경하고자 한다면, SplunkUniversalF.. 2022. 4. 10.

Splunk - 윈도우 Universal Forwarder 설치/구성 Splunk에는 시스템에서 데이터 수집을 원활하게 도와주는 Universal Forwarder가 존재하는데, Universal Forwarder는 다양한 기능을 내장하고 있다. 이러한 기능은 작게는 서버의 로그를 수집하는 용도부터 Forwarder 기능까지 활용이 가능하다. 그럼 간단히 어떻게 사용할 수 있는지 Universal Forwarder에 대해 알아보자. Reciever 설정하기 Universal Forwarder를 사용하기 위해서는 Splunk에서 데이터 입력을 받을 수 있도록 Receiver를 등록해 두어여 한다. 아래 그림처럼 Splunk로 들어가 설정에서 전달 및 수신을 선택하자. 이후 수신 설정에서 새로 추가를 선택하여 기본 포트인 9997로 Receiver를 만들 수 있다. 만약 전체.. 2022. 4. 6.

Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다. 이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다. Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000 다만 이 오류를 조치하기.. 2022. 3. 31.

이전 1 2 다음

티스토리툴바