본문 바로가기
반응형

Python113

Python - HTTP Keep-alive 를 통한 성능 향상 HTTP Keep-Alive를 이용하면, TCP 세션을 연결하는 작업을 하지 않고 추가적인 데이터를 보낼 수 있기 때문에 많은 장점을 가지게 된다. Nginx에서도 Keep-alive를 활성화 할 경우 50%이상의 성능을 더 올릴 수 있기 때문에 만약 웹 요청을 진행해야 하는 경우 Keep-alive 사용 가능 유무를 추후 꼭 체크하는 것이 좋다. 파이썬을 통한 일반적인 요청은 아래와 같다. import requests import time import logging logging.basicConfig(level=logging.DEBUG) url = "https://httpbin.org" start = time.perf_counter() requests.get(url) requests.get(url) r.. 2024. 3. 7.
Python - AWS S3 Select 와 Atena 차이점, 기본 사용법 AWS를 이용하면 S3에 저장되어 있는 데이터를 확인해야 한 경우가 종종 발생한다. 이띠, Atena와 Select를 이용해서 S3에 저장되어 있는 자료를 검색해 부분적으로 가져올 수 있는 기능을 통해 원하는 자료만 빠르게 검색할 수 있다. 먼저 S3 Select와 Atena의 기본적이 차이를 알아보도록 하자. S3 Select 와 Atena 차이점 AWS Select: 가장 비용을 효율적으로 원하는 S3와 Glacier 에서 데이터를 검색할 수 있는 방법이다. AWS Athena: ANSI SQL 방식으로 완전한 SQL 쿼리를 사용할 수 있다. - group by, having, window, geo in SQL DDL and DML등 따라서 검색 위주로 사용하는 경우 S3 Select, Atena는 .. 2024. 3. 7.
pymysql error - RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pymysql을 이용해서 mysql 인증시 아래와 같은 cryptography 오류가 발생한다면 해당 인증 모듈이 설치가 되어 있지 않아서이다. 아래 명령으로 cryptography 를 설치하도록 하자. pip install cryptography 2024. 3. 7.
Pandas - 자동 줄 바꿈(Warp Text) 서식 적용, 및 컬럼 크기(Auto-Column length) 보다 사용자에게 보여주기 유용한 엑셀을 작성하고자 할 때 유용한 옵션으로, 실제는 스타일 시트를 추가로 입히는 작업이라고 할 수 있다. 먼저 적용할 부분은 컬럼 크기를 글자 크기에 맞춰서 작성하는 코드이다. >>> dict_list = [{'name':'han','age':'10','loc':'seoul','txt':'abcd','txt2':'abcd'},{'name':'kim','age':'14','loc':'busan','txt':'aasdfljleiasdfnncvlasdlhja','txt2':'abcd'},{'name':'lee','age':'12','loc':'iksan','txt':'asdfffffffffffcjkdsakfkdashjfkjlasdfjhasidasdfadsfasdfuoia','tx.. 2024. 3. 7.
Python - 딕셔너리(dict) 리스트 정렬 하기(sort) Python 에서는 sort를 이용하여 리스트를 정렬하는 기능을 제공하고 있다. 간편하게 sort라는 내장 함수를 이용하면, 손쉽게 정렬이 가능한데, 일반적인 List 리스트는 이렇게 진행할 수 있다. >>> int_list = [3,5,6,9,2] >>> int_list [3, 5, 6, 9, 2] >>> int_list.sort() >>> int_list [2, 3, 5, 6, 9] >>> int_list.reverse() >>> int_list [9, 6, 5, 3, 2] 한글 역시 가능하며, reversed 내장 함수를 이용하면 추가적인 조작도 가능해진다. 그런데 Key와 Value가 있는 경우에는 리스트 내장함수로는 어렵고 sorted 라는 별도의 내장함수를 이용하여 Lamda로 처리하여야 한다.. 2024. 3. 6.
Python - 리소스 및 코드 하나로 실행, Single-file executables 프로그램을 제작하다보면, 간편하게 배포 할 수 있도록 하나의 파일로 생성해야 하는 경우가 많다. 이유는 프로그램을 실행하는 사람 입장에서는 개발자의 개발 의도를 온전히 이해하기가 어렵기 때문에 운용해야 하는 파일이 많거나 실행 단계가 많다는 것은 사용자에게 복잡함과 실행 오류를 발생할 수 있는 가능성을 높이기 때문에 이를 간소화 하는 것은 매우 중요하다. C# 기준으로도 아래와 같은 리소스를 exe하나로 만드는 형식으로 배포를 많이 하게 된다. 다만 파이썬은 스크립트 형태의 프로그램이기 때문에 리소스를 별도로 구분하지 않고 실제 코드 내용을 생성하고자 하는 Main 파일에 넣어주어야 하며, 파이썬 코드 특성상 들어쓰기를 주의해야 하기 때문에 라인별로 들어쓰기 유지가 가능하도록 구성하면 된다. 먼저 코드를.. 2024. 3. 3.
Python - sqlalchemy bigint를 id 값으로 사용해야 하는 이유 Python 의 기본 ORM 을 사용한다면, id 필드를 통한 unique 값 생성이 기본이다. 기본값은 INT인데, INT로 생성할 경우 최대 생성 가능한 컬럼이 2,147,483,647 까지 가능하다. 만약 이값을 넘어간다면, 추후 BIGINT로 변경하는 것을 고려해야 한다. 따라서 되도록 초기 구성시 INT보다 큰 값을 제공하는 BIGINT를 이용하기를 추천한다. 위 문서에 보면, BigInteger를 통해서 선언이 가능하다. The Type Hierarchy — SQLAlchemy 1.4 Documentation class Asecurity(Base): __tablename__ = "asecurity_table" id = Column(BigInteger, primary_key=True, index.. 2024. 3. 3.
Python - subprocess, Popen, call차이, 작업경로(WorkDirectory) 변경 Python에서 실행중 추가로 프로그램을 실행해야 하는 경우가 발생할 경우 subprocess 모듈을 이용해서 사용할 수 있다. 아마 이모듈을 사용할 때 가장 많은 찾아보게 되는 부분이 Popen과 Call의 차이 그리고 WorkDirectory 변경일 것 같다. 그럼 핵심만 간단히 정리해 보자. Popen 과 call의 차이점 Popen과 call의 가장 큰 차이점은 바로 결과를 기다릴 수 있는 구조인가 이다. 실제로 call은 Popen을 감싼 구조라고 할 수 있다. 즉 Popen으로 실행한 프로그램을 실행을 기다렸다가, 실행이 완료되었을 때 결과를 받을 수 있는 것이 call인것이다. 따라서 실행 결과를 기다릴 필요가 없다면, Popen을 사용하고, 실행 결과를 대기하였다가 확인해야 하는 경우 ca.. 2024. 3. 3.
Python - Http Retry 및 while 을 통한 재시도하기 요즘 REST API 참으로 많이 사용된다. 그런데 HTTP 호출을 사용하다보면, 받아주는 서버가 정상적으로 회신을 주지 않는 경우가 있다. 이러한 경우 어떻게 조치하는게 좋을지 Python에서 제공하는 모듈과 일반적인 방법에 대해서 정리해 본다. 1. while 문 사용 가장 일반적으로 사용되는 방식은 while 문을 이용한 특정 조건이 완료될 때 까지 반복 하는 방법이다. while 문 내에 아래와 같이 1이 나올 때까지 실행하는 방식으로 조건이 완료될 때까지 실행할 수 있다.\ import random while True: number = random.randint(0,1000) if number == 1: print('Bingo') break else: print(number) 이를 조금 웹 코드.. 2024. 3. 3.
반응형