본문 바로가기
반응형

Bigdata51

LLM - Llama를 NPU 활용, 성능은 어느 정도 일까? 오늘은 놀고 있는 NPU를 활용할 수 있는 NPU  활용기 및 성능이 어느정도 차이가 나는지 확인해보도록 하겠다.NPU는 AI에서 필요로 하는 연산 작업에 최적화된 별도의 처리 장치로 NPU가 탑재가 되어 있다면 성능 탭에서 NPU를 확인할 수 있다.(여기에서는 Intel® NPU를 기반으로 글을 작성하였다.)NPU를 이용하면 가장 큰 장점은, 로컬에서 AI를 실행하는데 기존에는 GPU의 영향을 많이 받았다. 특히 메모리 부분도 무시못할 정도로 고가의 GPU를 필요로 했다는 점이다.하지만 NPU는 이런 부분을 해소하여 AI 연산을 전담해주게 된다. 특히 CPU에 함께 제공되어, 일반 개인 PC에서 사용할 만한 AI들을 로컬에서 CPU나 GPU를 의지 하지 않고 실행할 수 있게 되었다는 점이 가장 큰 장점.. 2024. 11. 1.
LLM - GGUF 파일이란? GGUF(Georgi Gerganov Unified Format)는 기존에 모델의 각 딥러링 프레임워크에서 서로 호환성이 어려운 부분을 개선한 것으로, 딥러닝 모델을 효율적으로 저장하고 배포하기 위한 새로운 파일 형식으로써 다음과 같은 특징을 가지고 있다.특징범용성: GGUF는 다양한 딥러닝 프레임워크와 호환되도록 설계되었다. TensorFlow, PyTorch, ONNX 등 다양한 플랫폼에서 사용할 수 있다.표준화된 포맷: 모델 저장 및 배포를 위한 표준화된 포맷을 제공하여, 모델 파일이 서로 다른 시스템 간에 쉽게 이동할 수 있다.효율성: 데이터와 메타데이터를 효율적으로 저장할 수 있는 구조를 가지고 있다. 이를 통해 모델 파일의 크기와 로딩 시간을 줄일 수 있다.장점호환성 향상: 다양한 딥러닝 프레.. 2024. 8. 13.
Splunk - HEC 데이터 입력 Splunk에서는 다양한 데이터 전송 방법을 제공하는데, 그중 많이 사용되는 HTTP 를 이용한 전송 방법에 대해서 정리해보겠다.데이터 입력을 위해서는 우선 설정 > 데이터 입력을 실행한다.이후, 아래와 같이 HTTP Event Collector(이하 HEC)에 새로 추가를 선택하도록 하자. 새로 추가를 누르면 총 4단계로 구성이 되는데, 기본적으로 현재 HEC의 이름을 지정해 주면된다. 이외 설정중 인덱서 수신 확인 활성화 체크박스가 있는데, 이벤트가 들어갔을 때 수신 유무를 콜백(회신)해줄것인지를  설정하는 부분이다. 만약에 데이터 입력의 정확성이 중요한 경우 이를 통해서 데이터의 정상 입력 유무를 매 이벤트마다 확인이 가능하다.기본적으로는 사용하지 않는다. 다음을 누르면, 가장 중요한 부분으로 입력.. 2024. 8. 12.
Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다.이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다.Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000다만 이 오류를 조치하기 전에.. 2024. 8. 12.
Splunk - Depolyment and Intermediate/Heavy forwarder 구성 Depolyment 서버앞서 Depolyment 서버를 Universal Forwarder 를 설치할 때  지정할 수 있다.Depolyment 서버를 지정할 경우 Depolyment 서버에서 Universal Forwarder의 상태와 설치된 앱를 모니터링 할 수 있으므로,  Splunk Universal forwarder를 관리하는 용도로 활용할 수 있다. 관리 화면은, Splunk의 포워더 관리에서 가능하다. 메뉴에 들어가면 현재 관리되는 클라이언트 수와 오류가 있는 클라이언트를 쉽게 확인이 가능하다.현재 배포된 App은 실제 SplunkUniversalForwarder\etc\app에서 확인 할 수 있다.이외에도 Depolyment 서버의 IP를 변경하고자 한다면, SplunkUniversalFor.. 2024. 8. 12.
Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다.저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. 다운로드다운로드는 아래 링크에서 진행할 수 있다.Download Universal Forwarder for Remote Data Collection | SplunkLinux 환경 특성상 CLI를 이용하기 때문에 아래 바로 다운받을 수 있는 링크를 이용하면 보다 효과적이.. 2024. 8. 12.
Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다.이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자.1. GUI 활동을 통해 공유자신의 검색 활동은 Splunk의 작업에 저장된다.여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자.이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다.읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가기 링크이다.. 2024. 8. 12.
Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다.Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데,  Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다.예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다.1. Splunk에서 데이터 조회 | Custom Command2. Custom Command로 외부 데이터 조회 | Splunk SPL그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자.1. 앱 생성Spl.. 2024. 8. 12.
Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자.아래와 같은 명령이 있다고 가정하자.action=purchase | stats count by status | rename count as “events”위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다.이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용하다.그리고 명령어를 보다 최적화해서 사용할 수 있는데 도.. 2024. 8. 12.
반응형

티스토리툴바