본문 바로가기
반응형

전체 글956

Jupyter - Notebook 기본 활용방법 이전 포스트에서 어떻게 Jupyter - Notebook 설치하는 방법에 대해서 정리한 적이 있다.이렇게 설치한 Jupyter - Notebook의  기본 사용방법에 대해서 알아보도록 하자.기본 사용Jupyter - Notebook은 기본적으로 웹 브라우저에서 간편하게 실행이 가능하도록 구성되어 있다.아래와 같은 웹 탐색기와 같은 화면이 메인 화면이며, 여기에서 파일 생성을 하고자 한다면, 우측에 New 메뉴를 통해서Notebook을 생성할 수 있으며, 기본적으로 Python을 이용하여 실행이 가능하다. NoteBook 파일을 폴더에 모아서 관리하고자 한다면, New -> Folder를 통해 신규 폴더를 생성할 수 있는데,기본 이름인 Untitled Folder 로 생성 된다. 해당 폴더를 체크 박스를 .. 2024. 8. 12.
MySQL - Database 테이블 구조 와 데이터(table, data) 백업하기(Dump) MySQL에서 테이블 구조와 데이터 백업을 한번에 처리할 수 있는 방법은 간단하다.sudo mysqldump -u -p --databases > .sql-p 공간을 비워두면 패스워드가 필요한 경우 자동으로 패스워드 입력으로 넘어가게 된다.만약 root 유저에 asecurity 데이터베이스 테이블 구조까지 백업한다면 다음과 같이 명령하면 된다.sudo mysqldump -u root -p --databases asecurity > asecurity_230308.sql전체가 텍스트 내용이기 때문에 Table 구조만 필요한 경우 해당 내용을 따로 빼둘 수 있다.테이블 단위로 하고 싶다면 database 다음에 공백을 두고 table 이름을 입력하면 된다. 2024. 8. 12.
Splunk - KV Store 데이터 저장 및 수정하기 KV Store는 Splunk에서 제공하는 기능이다.KV Store 용도는 데이터베이스 처럼 입력 저장 수정등, 쉽게 활용할 수 있어서,Splunk를 사용하고 있다면, 간편하게 사용하기 좋은 저장소라고 할 수 있다. 그럼 가장 간단하게 데이터를 저장하고 수정하는 Python 코드를 작성해보도록 하자.여기에서는 Splunk에서 제공하는 라이브러리를 사용할 예정이며 코드는 다음과 같다.import splunklib.client as client# Splunk 인증 정보host = "localhost"port = 8089username = "admin"password = "your_password"# Splunk SDK 객체 생성service = client.connect( host=host, po.. 2024. 8. 12.
Splunk - KVStore curl을 이용한 RestAPI 관리 여기에서는 KVStore를 CURL를 이용해서 관리하는 방법을 알아보고자 한다.1. 콜렉션 생성/삭제KVStore를 진행하기 위해서는 가장 먼저 콜렉션을 만들어야 한다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config -d name=allmnet_collectionKVStore를 잘못 생성한 경우 DELETE 메소드를 이용하여 삭제할 수 있다.curl -k -u admin:password -X DELETE "https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmnet_collection"2.. 2024. 8. 12.
Splunk - splunklib 설치시 pycrypto 오류 해결 현재 splunklib은 개발이 중단된 라이브러리 이다. 따라서 급하게 사용할 것이 아니라면, Splunk에서 계속 개발하고 있는 splunk-sdk를 정상적으로 사용할 수 있는 최신 Python을 설치하기를 권장한다. splunk-sdk · PyPI여기에서는 spunklib을 사용할 때  필자가 경험했던 오류인 pycrypto 설치 문제를 해결해 보고자 한다.이오류를 해결 하기 위해서는 pycrypto가 아닌 pycryptodome를 설치하여 splunklib이 pycryptodome를 사용하도록 해야 한다.순서는 다음과 같다.1. 만약 pycrypto 가 설치되어 있다면 제거한다.pip uninstall pycrypto2. 이후 pycryptodome를 설치한다.pip install pycryptod.. 2024. 8. 12.
Splunk - KVStore 스키마 정의 및 삭제하기 REST API를 이용해서 데이터를 넣고, 업데이트하는데에는 상관 없지만, 사용자 편의를 위해 Splunk App for Lookup File Editing을 통한 GUI를 이용할 경우 스키마를 설정해 두지 않으면 정상적으로 데이터를 확인하기가 어렵다.여기에서는 스키마를 생성하고 삭제하는 방법에 대해서 알아보도록 하자. 스키마 생성스키마 생성은 config 경로의 콜렉션을 지정하고, field를 통해 생성이 가능하다 아래는 field1은 숫자타입, field2 문자열, field3 문자열 타입을 생성하는 예제이다.curl -k -u admin:password https://localhost:8089/servicesNS/nobody/my_app/storage/collections/config/allmne.. 2024. 8. 12.
Splunk - 앱 더 찾아보기(Find More App) SSL certificate failed 해결 아마 이 오류는 프록시등이 사용되는 환경에서 발생하는 오류로 판단된다.이 오류를 해결하기 위해서는 Splunk의 앱 관리에서 SSL 인증서 체크 부분을 비활성화 하면 된다.server.conf 파일의 기본 경로는 다음과 같다.%SPLUNK_HOME%/etc/system/default/server.confapplicationsManagement 를 찾아서 이동하면, 기본적으로 sslVerifyServerCert가 true로 되어 있는것을 false로 수정해주도록 하자.수정은 vi 에디터로 아래 내용을 편집하면 되는데, 기본적으로 읽기 전용이라 !(느낌표)로 무시하고 저장하면 된다.이후 재시작하면 정상적으로 접근이 가능하다. 2024. 8. 11.
자연어 처리(Natural Language Processing, NLP) - transformers 기초, Bert 감정 분류 예제 Transformers 라이브러리?transformers는 딥러닝 기반의 자연어 처리(Natural Language Processing, NLP) 작업을 위한 파이썬 라이브러리이다.주로 최신의 자연어 처리 모델들을 구현하고 사용할 수 있도록 도와준다.Transformers 라이브러리는 Hugging Face라는 회사에서 개발하고 유지 관리하고 있으며, 다양한 언어 모델과 사전 훈련된 가중치를 제공합니다. 가장 유명한 모델로는 BERT, GPT, GPT-2, RoBERTa, XLNet, DistilBERT 등이 있다. Transformers 라이브러리를 사용하면 다음과 같은 작업을 수행할 수 있다.토큰화(Tokenization): 자연어 문장을 작은 단위로 분리하여 모델에 입력할 수 있는 형태로 변환한다... 2024. 8. 11.
기계학습(ML) - epoch, batch size, iteration 기본 의미 기계학습을 진행하면, 코드로 사용하다보면,  epoch, batch, iteration 이라는 파라미터를 볼 수 있느데,  학습을 시작할때 자주 사용되는 용어인 epoch, batch, iteration 에 대해 알아보고자 한다.기계 학습은 데이터를 학습해서 결과를 만들어 내는 과정이라고 할 수 있다.이때 학습할 데이터의 양과 학습 횟수등에 따라서 결과가 달라지게 되는데, 예를 들어보면 다음과 같다.철수 - 172양희 - 140성희 - 330국희 - 10하나 - 400 위와 같은 데이터를 가지고 선형 회계 예측 알고리즘을 이용한다고 생각해보다.만약 국희 라는 데이터가 어떻게 들어가느냐에 따라서 데이터 결과가 달라지기 때문에, 여러번 학습을 해서 데이터의 외곡을 줄이는 게 중요할 수 있지만, 반대로 데이터.. 2024. 8. 11.
반응형