Bigdata4 Splunk - Search Job and Share Splunk는 기본적으로 Search 를 진행할 때 Job 기반으로 처리하게 된다. 해당 작업에 대한 리스트는 Activity --> Jobs 에서 확인 할 수 있다. Job에는 검색한 결과를 보관하도록 되어 있는데, 이를 공유할 수 있는 방법에 대해 짧게 정리해 본다. 작업을 공유하기 위해서는 검색을 완료하게 되면, Edit Job Settings을 통해 할 수 있다. JobSettings 에 들어가면, 현재 설정이 나타난다. 기본설정으로는 Private(비공개), Lifetime(결과 저장 시간) 10분으로 설정되어 있다. 결과 저장 시간이 왜 짧은가? 라는 질문이 있을 수 있는데, Activity --> Jobs 에 들어가 보면, 작업별로 용량을 차지하는 것을 알 수 있다. 만약에 기업에서 사용하는.. 2021. 8. 25. Logstash - Debugging mode Logstash의 문제가 발생하였을때 문제점이 바로 보이지 않는 경우, 디버깅 로그를 활성화 하여 오류 부분을 쉽게 잡아 낼 수 있다. 설정 방법은 logstash를 서비스가 아닌 일반 process 방식으로 실행하는데 로드할 conf 파일의 위치를 지정해 주면 콘솔에서 쉽게 로그 확인이 가능하다. /usr/share/logstash/bin/logstash --debug -f /etc/logstash/logstash.conf --path.settings /etc/logstash 2021. 8. 11. Azure ML 이상탐지 라이브러리 Azure를 이용해서 이상탐지를 구현할 수 있는 라이브러리 와 관련 애제 공유해봅니다. https://docs.microsoft.com/ko-kr/python/api/overview/azure/cognitive-services?view=azure-pythonPython용 Azure Cognitive Services 모듈Python용 Azure Cognitive Services 모듈에 대한 참조docs.microsoft.comC#:https://www.nuget.org/packages/Azure.AI.AnomalyDetector/3.0.0-preview.3 Python: https://pypi.org/project/azure-ai-anomalydetector/3.0.0b3/ Typescript: https.. 2021. 4. 19. Elasticsearch - 기본 Elasticsearch? 요즘 Elasticsearch을 많이 사용한다. BigData가 화제인 요즘 엘라스틱서치는 고성능의 풀텍스트 검색 및 분석 엔진으로 활용성이 높다. 오픈소스로 제공되며 준 실시간으로 대량의 데이터를 빠르게 저장하고 검색할 수 있다. 그럼 가장 기본(Basic)이 되는 핵심 요소들에 대해서 알아보자. Cluster(클러스터) 클러스터는 전체 데이터를 하나 또는 그 이상의 노드의 집합에서 유지하고 있다는 것을 의미한다. 하나의 클러스터는 다수의 로드로 구성될 수 있으며, 하나의 클러스터에 다수의 서버로 바인딩하여 운영하거나 하나의 서버에 다수의 클러스터를 운영할 수 있다. 실행 명령 bin/elasticsearch --cluster.name=elasticsearch 환경설정 파일 .. 2020. 12. 3. 이전 1 다음
