반응형 Bigdata4 Hugging Face - model(허깅페이스 모델) download 3가지 방법 가장 쉽지만, 처음은 항상 어려운 법이다. LLM, 딥러닝, 머신러닝을 등을 배우다 보면, 반드시 거치는 허깅페이스 다양한 모델이 존재하고 사용해 볼 수 있는, 유용한 데이터 과학 분야의 사이트라고 할 수 있다. 허깅페이스는 유명한 만큼 인터페이스도 잘 제공해주는데, Python 라이브러리를 꼽을 수 있다. 허깅페이스에서 제공하는 transformers 라이브러리는 데이터 과학을 접했다면 한번쯤을 사용해보았을 도구 이기 때문이다.(현재 transformers 전성시대에 살고 있다.) 그럼 간단히 모델을 어떻게 다운로드하는지 함께 알아보자. 이를 위해서 먼저 huggingface_hub라이브러리를 설치하도록 하자. 1. huggingface_hub 이용 python -m pip install hugging.. 2024. 4. 12. Python - Databse BLOB 란? 사용법 BLOB(blob)는 Binary Large Object의 약자로써, 보통 기본적으로는 사진과 파일과 같은 블록형 데이터를 저장하는 용도이다. 따라서 Database의 자료 형태 역시 Byte를 기본으로 하고 있어서, 이러한 자료를 저장하는데 최적화 되어 있다고 할 수 있다. 그렇다면 Python에서는 어떻게 사용할 수 있을까? 가장 쉽게는 SQLachemy를 이용하는 방법이 있을 것이다. 1. BLOB 데이터 입력하기 데이터를 입력하기 위해서는 먼저 SQLachemy 는 LargeBinary 라는 타입으로 선언해주는 것이 좋다. 아래는 클래스를 선언하는 예시이다. from sqlalchemy import LargeBinary, MetaData class User(Base): __tablename__ =.. 2024. 3. 7. Splunk - 검색 결과에서 공유 데이터 확인하기 Splunk를 이용할 때 다수의 중복 값들중에 고유간 값들만 남기고 확인하는 구조로 가져갈 수 있는 방법에 대해서 간단하게 사용할 수 있는 기능이 존재하는데, 바로 dedup 이다. dedup은 검색 결과에서 중복되는 내용을 삭제해주는 역활을 진행한다. 아래와 같이 특정 필드명을 지정하면, 해당 필드를 기준으로 중복되는 내용들을 삭제해준다. | dedup id . 위와 같이 하나의 필드 뿐만 아니라 여러 필드를 지정하게 되면, 해당 필드가 모두 동일한 경우에만 중복으로 보기 때문에 유용하다. | dedup id host 2024. 2. 21. 랭체인/Langchain - 프로덕션에 사용해서는 않되는 이유, 주의점 오랫만에 좋은 글이 있어서 오늘 시간이 가능해 정리해 본다. 글 제목은 상당히 자극적인데, 내용을 보면, 제품에서 중요한 부분들이 무엇인지를 잘 이해할 수 있도록 작성되어 있어서 필자에게도 상당히 인상적이였던 글이였다. Langchain/랭체인(아하 Langchain)은 2023년 초에 상당히 유명해지면서 많은 Bigdata/AI 개발자들이 사용하였고, 편의성으로 인해서 많은 사용차층은 만든 LLM Framework라고 할 수 있다. Langchain은 유명한 모델들과 데이처 전처리 및 프롬프트 엔지니어링을 도와줌으로써, 초기 진입하는 개발자들에게 큰 도움을 주었다. 실제로 Langchain을 무기 파트 처럼 묘샤하면서 그 가능성을 높이 평가한 유명 엔지니어도 많을 정도 이다. Langchaing 설명은.. 2024. 2. 17. 이전 1 다음 반응형
