본문 바로가기
반응형

분류 전체보기1049

Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다.Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데,  Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다.예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다.1. Splunk에서 데이터 조회 | Custom Command2. Custom Command로 외부 데이터 조회 | Splunk SPL그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자.1. 앱 생성Spl.. 2024. 8. 12.
Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자.아래와 같은 명령이 있다고 가정하자.action=purchase | stats count by status | rename count as “events”위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다.이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용하다.그리고 명령어를 보다 최적화해서 사용할 수 있는데 도.. 2024. 8. 12.
Jupyter Notebook 설치하기 with Anaconda 머신 러닝에 사용되는 Jupyter Notebook,라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 이 Jupyter Notebook에 대해 기본 활용 방법에 정리해 보자. 설치Jupyter - Notebook를 설치하기  위해서는 두가지 방법으로 가능하다.1. Jupyter - Notebook만 설치2. Anaconda를 통한 Jupyter - Notebook 설치만약 본인이 필요한 패키지가 제한적이라고 한다면, Jupyter - Notebook만 설치하고 필요한 패키지를 직접 설치할 수 있는 1번 방법이 더 좋을 것이다.Anaconda는 Jupyter - Notebook과 함께  머신 러닝에 많이 .. 2024. 8. 12.
Jupyter - Notebook 기본 활용방법 이전 포스트에서 어떻게 Jupyter - Notebook 설치하는 방법에 대해서 정리한 적이 있다.이렇게 설치한 Jupyter - Notebook의  기본 사용방법에 대해서 알아보도록 하자.기본 사용Jupyter - Notebook은 기본적으로 웹 브라우저에서 간편하게 실행이 가능하도록 구성되어 있다.아래와 같은 웹 탐색기와 같은 화면이 메인 화면이며, 여기에서 파일 생성을 하고자 한다면, 우측에 New 메뉴를 통해서Notebook을 생성할 수 있으며, 기본적으로 Python을 이용하여 실행이 가능하다. NoteBook 파일을 폴더에 모아서 관리하고자 한다면, New -> Folder를 통해 신규 폴더를 생성할 수 있는데,기본 이름인 Untitled Folder 로 생성 된다. 해당 폴더를 체크 박스를 .. 2024. 8. 12.
MySQL - Database 테이블 구조 와 데이터(table, data) 백업하기(Dump) MySQL에서 테이블 구조와 데이터 백업을 한번에 처리할 수 있는 방법은 간단하다.sudo mysqldump -u -p --databases > .sql-p 공간을 비워두면 패스워드가 필요한 경우 자동으로 패스워드 입력으로 넘어가게 된다.만약 root 유저에 asecurity 데이터베이스 테이블 구조까지 백업한다면 다음과 같이 명령하면 된다.sudo mysqldump -u root -p --databases asecurity > asecurity_230308.sql전체가 텍스트 내용이기 때문에 Table 구조만 필요한 경우 해당 내용을 따로 빼둘 수 있다.테이블 단위로 하고 싶다면 database 다음에 공백을 두고 table 이름을 입력하면 된다. 2024. 8. 12.
Splunk - KV Store 데이터 저장 및 수정하기 KV Store는 Splunk에서 제공하는 기능이다.KV Store 용도는 데이터베이스 처럼 입력 저장 수정등, 쉽게 활용할 수 있어서,Splunk를 사용하고 있다면, 간편하게 사용하기 좋은 저장소라고 할 수 있다. 그럼 가장 간단하게 데이터를 저장하고 수정하는 Python 코드를 작성해보도록 하자.여기에서는 Splunk에서 제공하는 라이브러리를 사용할 예정이며 코드는 다음과 같다.import splunklib.client as client# Splunk 인증 정보host = "localhost"port = 8089username = "admin"password = "your_password"# Splunk SDK 객체 생성service = client.connect( host=host, po.. 2024. 8. 12.
Splunk - KVStore curl을 이용한 RestAPI 관리 여기에서는 KVStore를 CURL를 이용해서 관리하는 방법을 알아보고자 한다.1. 콜렉션 생성/삭제KVStore를 진행하기 위해서는 가장 먼저 콜렉션을 만들어야 한다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config -d name=allmnet_collectionKVStore를 잘못 생성한 경우 DELETE 메소드를 이용하여 삭제할 수 있다.curl -k -u admin:password -X DELETE "https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmnet_collection"2.. 2024. 8. 12.
Splunk - splunklib 설치시 pycrypto 오류 해결 현재 splunklib은 개발이 중단된 라이브러리 이다. 따라서 급하게 사용할 것이 아니라면, Splunk에서 계속 개발하고 있는 splunk-sdk를 정상적으로 사용할 수 있는 최신 Python을 설치하기를 권장한다. splunk-sdk · PyPI여기에서는 spunklib을 사용할 때  필자가 경험했던 오류인 pycrypto 설치 문제를 해결해 보고자 한다.이오류를 해결 하기 위해서는 pycrypto가 아닌 pycryptodome를 설치하여 splunklib이 pycryptodome를 사용하도록 해야 한다.순서는 다음과 같다.1. 만약 pycrypto 가 설치되어 있다면 제거한다.pip uninstall pycrypto2. 이후 pycryptodome를 설치한다.pip install pycryptod.. 2024. 8. 12.
Splunk - KVStore 스키마 정의 및 삭제하기 REST API를 이용해서 데이터를 넣고, 업데이트하는데에는 상관 없지만, 사용자 편의를 위해 Splunk App for Lookup File Editing을 통한 GUI를 이용할 경우 스키마를 설정해 두지 않으면 정상적으로 데이터를 확인하기가 어렵다.여기에서는 스키마를 생성하고 삭제하는 방법에 대해서 알아보도록 하자. 스키마 생성스키마 생성은 config 경로의 콜렉션을 지정하고, field를 통해 생성이 가능하다 아래는 field1은 숫자타입, field2 문자열, field3 문자열 타입을 생성하는 예제이다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmne.. 2024. 8. 12.
반응형

티스토리툴바