본문 바로가기
반응형

Bigdata50

LLM - GGUF 파일이란? GGUF(Georgi Gerganov Unified Format)는 기존에 모델의 각 딥러링 프레임워크에서 서로 호환성이 어려운 부분을 개선한 것으로, 딥러닝 모델을 효율적으로 저장하고 배포하기 위한 새로운 파일 형식으로써 다음과 같은 특징을 가지고 있다.특징범용성: GGUF는 다양한 딥러닝 프레임워크와 호환되도록 설계되었다. TensorFlow, PyTorch, ONNX 등 다양한 플랫폼에서 사용할 수 있다.표준화된 포맷: 모델 저장 및 배포를 위한 표준화된 포맷을 제공하여, 모델 파일이 서로 다른 시스템 간에 쉽게 이동할 수 있다.효율성: 데이터와 메타데이터를 효율적으로 저장할 수 있는 구조를 가지고 있다. 이를 통해 모델 파일의 크기와 로딩 시간을 줄일 수 있다.장점호환성 향상: 다양한 딥러닝 프레.. 2024. 8. 13.
Splunk - HEC 데이터 입력 Splunk에서는 다양한 데이터 전송 방법을 제공하는데, 그중 많이 사용되는 HTTP 를 이용한 전송 방법에 대해서 정리해보겠다.데이터 입력을 위해서는 우선 설정 > 데이터 입력을 실행한다.이후, 아래와 같이 HTTP Event Collector(이하 HEC)에 새로 추가를 선택하도록 하자. 새로 추가를 누르면 총 4단계로 구성이 되는데, 기본적으로 현재 HEC의 이름을 지정해 주면된다. 이외 설정중 인덱서 수신 확인 활성화 체크박스가 있는데, 이벤트가 들어갔을 때 수신 유무를 콜백(회신)해줄것인지를  설정하는 부분이다. 만약에 데이터 입력의 정확성이 중요한 경우 이를 통해서 데이터의 정상 입력 유무를 매 이벤트마다 확인이 가능하다.기본적으로는 사용하지 않는다. 다음을 누르면, 가장 중요한 부분으로 입력.. 2024. 8. 12.
Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다.이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다.Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000다만 이 오류를 조치하기 전에.. 2024. 8. 12.
Splunk - Depolyment and Intermediate/Heavy forwarder 구성 Depolyment 서버앞서 Depolyment 서버를 Universal Forwarder 를 설치할 때  지정할 수 있다.Depolyment 서버를 지정할 경우 Depolyment 서버에서 Universal Forwarder의 상태와 설치된 앱를 모니터링 할 수 있으므로,  Splunk Universal forwarder를 관리하는 용도로 활용할 수 있다. 관리 화면은, Splunk의 포워더 관리에서 가능하다. 메뉴에 들어가면 현재 관리되는 클라이언트 수와 오류가 있는 클라이언트를 쉽게 확인이 가능하다.현재 배포된 App은 실제 SplunkUniversalForwarder\etc\app에서 확인 할 수 있다.이외에도 Depolyment 서버의 IP를 변경하고자 한다면, SplunkUniversalFor.. 2024. 8. 12.
Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다.저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. 다운로드다운로드는 아래 링크에서 진행할 수 있다.Download Universal Forwarder for Remote Data Collection | SplunkLinux 환경 특성상 CLI를 이용하기 때문에 아래 바로 다운받을 수 있는 링크를 이용하면 보다 효과적이.. 2024. 8. 12.
Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다.이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자.1. GUI 활동을 통해 공유자신의 검색 활동은 Splunk의 작업에 저장된다.여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자.이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다.읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가기 링크이다.. 2024. 8. 12.
Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다.Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데,  Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다.예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다.1. Splunk에서 데이터 조회 | Custom Command2. Custom Command로 외부 데이터 조회 | Splunk SPL그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자.1. 앱 생성Spl.. 2024. 8. 12.
Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자.아래와 같은 명령이 있다고 가정하자.action=purchase | stats count by status | rename count as “events”위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다.이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용하다.그리고 명령어를 보다 최적화해서 사용할 수 있는데 도.. 2024. 8. 12.
Jupyter Notebook 설치하기 with Anaconda 머신 러닝에 사용되는 Jupyter Notebook,라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 이 Jupyter Notebook에 대해 기본 활용 방법에 정리해 보자. 설치Jupyter - Notebook를 설치하기  위해서는 두가지 방법으로 가능하다.1. Jupyter - Notebook만 설치2. Anaconda를 통한 Jupyter - Notebook 설치만약 본인이 필요한 패키지가 제한적이라고 한다면, Jupyter - Notebook만 설치하고 필요한 패키지를 직접 설치할 수 있는 1번 방법이 더 좋을 것이다.Anaconda는 Jupyter - Notebook과 함께  머신 러닝에 많이 .. 2024. 8. 12.
반응형