본문 바로가기
반응형

Bigdata20

MySQL - Database 테이블 구조 와 데이터(table, data) 백업하기(Dump) MySQL에서 테이블 구조와 데이터 백업을 한번에 처리할 수 있는 방법은 간단하다. sudo mysqldump -u -p --databases > .sql -p 공간을 비워두면 패스워드가 필요한 경우 자동으로 패스워드 입력으로 넘어가게 된다. 만약 root 유저에 asecurity 데이터베이스 테이블 구조까지 백업한다면 다음과 같이 명령하면 된다. sudo mysqldump -u root -p --databases asecurity > asecurity_230308.sql 전체가 텍스트 내용이기 때문에 Table 구조만 필요한 경우 해당 내용을 따로 빼둘 수 있다. 테이블 단위로 하고 싶다면 database 다음에 공백을 두고 table 이름을 입력하면 된다. 2023. 3. 8.
Azure OpenAI 사용승인 완료 자고 일어나니 사용승인이 떨어졌다. 기존에 파파고/클로바를 사용했는데 어떤지 활용해봐야겠다. 사용 요청은 아래 링크로 정보를 작성하면 심사를 통해 이루어진다. https://customervoice.microsoft.com/Pages/ResponsePage.aspx?id=v4j5cvGGr0GRqy180BHbR7en2Ais5pxKtso_Pz4b1_xUOFA5Qk1UWDRBMjg0WFhPMkIzTzhKQ1dWNyQlQCN0PWcu&culture=en-us&country=us Dynamics 365 Customer Voice customervoice.microsoft.com 필자는 Security 부분으로 활용해보고 싶다. 공격그룹도 물어보고, 침해IOC등에 아떻게 반응할지 궁금하구나 2023. 2. 22.
AI - 문서 요약, Text Summarization API 정리 LastUpdate 20230218 텍스트 요약 API는 AI 요약 모델을 지능형 플랫폼에 통합하여 미팅, 통화, 인터뷰, 법률 문서 등을 위한 AI 기반 요약 도구를 만들고 있는데, 이를 보통 AI Text Summarization 라고 한다. 여기에서는 텍스트 요약이 정확히 무엇인지 간단히 알아보고, 몇 가지 최고의 텍스트 요약 API 대해 알아보자. NLP와 Text Summarization NLP는 Natural Language Processing의 약자로 인간의 언어인 자연어 처리에서 Text Summarization는 딥 러닝 및 기계 학습 모델을 사용하여 대량의 텍스트를 가장 중요한 부분으로 합성하는 프로세스를 의미한다. 이 기술을 이용하면, 연구 논문이나 뉴스 기사와 같은 정적인 기존 텍스.. 2023. 2. 18.
Jupyter - Notebook 기본 활용 이전 포스트에서 어떻게 Jupyter - Notebook 설치하는 방법에 대해서 정리한 적이 있다. Jupyter - Notebook only/Anaconda 설치 (asecurity.dev) Jupyter - Notebook only/Anaconda 설치 머신 러닝에 사용되는 Jupyter Notebook, 라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 asecurity.dev 이렇게 설치한 Jupyter - Notebook의 기본 사용방법에 대해서 알아보도록 하자. 기본 사용 Jupyter - Notebook은 기본적으로 웹 브라우저에서 간편하게 실행이 가능하도록 구성되어 있다. 아래와 같은 웹 .. 2022. 7. 21.
Jupyter - Notebook only/Anaconda 설치 머신 러닝에 사용되는 Jupyter Notebook, 라인 방식으로 실행이 가능하고 실행한 결과를 바로 볼 수 있어서,데이터 기반 분석을 해야하는 머신 러닝에 활용하기에 매우 유용하다고 할 수 있다. 그럼 이 Jupyter Notebook에 대해 기본 활용 방법에 정리해 보자. 설치 Jupyter - Notebook를 설치하기 위해서는 두가지 방법으로 가능하다. 1. Jupyter - Notebook만 설치 2. Anaconda를 통한 Jupyter - Notebook 설치 만약 본인이 필요한 패키지가 제한적이라고 한다면, Jupyter - Notebook만 설치하고 필요한 패키지를 직접 설치할 수 있는 1번 방법이 더 좋을 것이다. Anaconda는 Jupyter - Notebook과 함께 머신 러닝에.. 2022. 6. 7.
Splunk - Streaming 와 Transforming Commands 이해 Splunk에는 데이터 검색과 처리에 사용할 수 있는 SPL(Search Processing Language)이 존재한다. 그중에 가장 많이 사용되는 Streaming과 Transforming Command에 대해서 알아 보도록 하자. 아래와 같은 명령이 있다고 가정하자. action=purchase | stats count by status | rename count as “events” 위 명령애서 action=purchase 는 Streaming Command이고, stats 와 rename 은 Transforming Command이다. 이렇게 명령어의 타입이 구분되는 이유는, 동작 환경과 조건이 다르기 때문에 시스템 사용 리소스등을 고려할 때 유용핟. 그리고 명령어를 보다 최적화해서 사용할 수 있.. 2022. 5. 26.
Splunk - CustomCommand 개발 이해 Splunk에는 Custom Command라는 사용자가 직접 명령어를 개발하는 것이 가능하다. Splunk는 다른 데이터 분석 플랫폼보다 다양한 통계나 데이터 가공이 SPL를 통해서 진행할 수 있는데, Custom Command 를 이를 더욱 풍푸하게 해주는 기능이라고 할 수 있다. 예를 들어, 외부의 플랫폼의 데이터를 가져와서 Splunk에서 추가 통계 자료로 만들거나, Splunk 내 데이터와 함께 이용하는 것을 Custom Command를 통해서 가능하다고 할 수 있다. 1. Splunk에서 데이터 조회 | Custom Command 2. Custom Command로 외부 데이터 조회 | Splunk SPL 그럼 Custom Command를 어떻게 만들수 있는지 간단히 이해해보도록 하자. 1. 앱 .. 2022. 5. 23.
Splunk - 검색 결과 공유 하기, GUI/Rest API 활용 Splunk에서 검색을 진행한 경우 기본적으로 자기 자신만 보는것이 가능하다. 이를 공유할 수 있는 방법이 2가지 있는데, 이에 대해서 정리해 보자. 1. GUI 활동을 통해 공유 자신의 검색 활동은 Splunk의 작업에 저장된다. 여기에서 검색 결과를 공유할 수 있다. 먼저 작업을 클릭하자. 이후 공유하고자 하는 검색 결과의 작업을 누르면 작업 설정 편집을 들어갈 수 있다. 읽기 권한을 모든 사용자, 그리고 공유할 검색 내용의 수명을 선택할 수 있는데, 이는 본 검색 데이터가 마지막으로 접근한 기록을 기준이라는 점이다. 따라서 7일 이내 1번이라도 접근을 한다면, 해당 접근한 시점부터 다시 7일을 계산하는 방식으로 데이터가 유지된다. 그리고 작업에 연결 한글말이라 조금 부자연스러운데, 본 검색의 바로가.. 2022. 5. 1.
Spunk - Linux/Ubuntu Universal Forwarder 설치/구성 Splunk에서 제공하는 Universal Forwarder는 Splunk에 데이터를 입력하는데 효과적인 데이터 입력 도구라고 할 수 있다. 저번에 윈도우를 통해서 사용방법과 Receiver 구성 및 Depolyment에 대해서 알아 보았다면, 이번에는 Linux 머신에서 데이터를 수집하는 방법을 알아보도록 하겠다. Receiver 구성 및 Depolyment는 아래 문서에 정리하였으니 아래 링크에서 아랫 부분을 참고하면 도움이 될 것이다. Splunk - 윈도우 Universal Forwarder와 Receiver 그리고 Depolyment 이해 (tistory.com) Splunk - 윈도우 Universal Forwarder와 Receiver 그리고 Depolyment 이해 Splunk에는 시스템에.. 2022. 4. 11.