반응형 Python127 Python - AWS S3 Select 와 Atena 차이점, 기본 사용법 AWS를 이용하면 S3에 저장되어 있는 데이터를 확인해야 한 경우가 종종 발생한다. 이띠, Atena와 Select를 이용해서 S3에 저장되어 있는 자료를 검색해 부분적으로 가져올 수 있는 기능을 통해 원하는 자료만 빠르게 검색할 수 있다. 먼저 S3 Select와 Atena의 기본적이 차이를 알아보도록 하자. S3 Select 와 Atena 차이점 AWS Select: 가장 비용을 효율적으로 원하는 S3와 Glacier 에서 데이터를 검색할 수 있는 방법이다. AWS Athena: ANSI SQL 방식으로 완전한 SQL 쿼리를 사용할 수 있다. - group by, having, window, geo in SQL DDL and DML등 따라서 검색 위주로 사용하는 경우 S3 Select, Atena는 .. 2024. 2. 22. VSCode - 파일 저장시 공백 자동 제거 코드를 작성하다보면 불필요한 공백이 발생하는 경우가 많다. 이러한 공백은 코드를 읽는데는 문제가 없지만, Python은 컴파일 기반이 아닌 라인 방식으로 읽어 들이는 Interpreter 방식이기 때문에 불필요한 공백이 존재하면 해당 코드가 의미가 있는것인지를 계산하는 시간이 필요하기 때문에 이를 제거하는 것이 깔끔하다고 할 수 있다. VSCode에서 이를 자동 제거해주는 옵션을 제공하는데 아래와 같이 옵션 활성화가 가능하다. VSCode에서 Preferences로 들어가서 Settings로 들어가, WhiteSpace 관련 옵션을 검색한다. 그럼 아래와 같이 Trim Trailing Whitespace 옵션을 찾을 수 있고, 이를 활성화 하면, 이후 부터 아래와 같은 불필요한 공백으로 판단되는 마지막 .. 2024. 2. 22. Python - 특정 문자열 검색하여 잘라내기, finditer 오늘은 특정 문자열을 검색해서 잘라내는 방법에 대해서 정리해보고자 한다. 먼저 기본적으로 Python에서 문자열의 인덱스를 이해할 필요가 있다. 인덱스(문자의 위치)는 [:]를 이용해서 앞뒤를 지정할 수 있다. 아래 예제와 같이 str_test[0:1]은 0(처음)부터 1번까지 내용만 리턴하라는 의미가 된다. 그리고 파이썬은 처음과 끝을 생략할 수 있는데, [:1] 은 처음부터 1까지 [1:] 1부터 마지막까지로 유용하게 사용이 가능하다. 그럼 검색은 어떻게 할 수 있을까? 바로 regex를 이용해서 진행해야 한다. regex는 find와 finditer이 있는데 이 둘의 차이점은 finditer은 매칭되는 값의 위치(인덱스)을 함께 리턴해주게 된다는 점이 크다. import re str_test = '.. 2024. 2. 21. Python - 에러 해결: list indices must be integers or slices, not str Python 코드를 작성하다보면, list indices must be integers or slices, not str이라는 오류를 종종 접하게 된다. list indices must be integers or slices, not str 또는 cannot unpack non-iterable NoneType object 이 오류는 List 같은 문자열 아닌 값을 문자열 처럼 사용했을 때 발생한다. 따라서 이 오류를 해결하기 위해서는 각 변수의 타입에 맞게 사용했는지을 유심하게 봐야한다. 보통 문자열과 list 형태는 다루는 방식이 다르기 때문에 나타난다고 보면 된다. 특히 실사용에서는 아래와 같이 다중 리스트형태일 경우를 무시해서 발생하는 경우가 많으므로 주의할 필요가 있다. #다중 리스트 인덱스로 문.. 2024. 2. 20. Python - 함수 타입 지정, 타입 힌트(Type Hint)에 대해 파이썬 타입 힌트는 코드에 대한 메타 정보를 제공하여 가독성, 안정성, 유지 관리성을 향상시키는 강력한 도구입니다. 이 튜토리얼에서는 타입 힌트의 기본 개념부터 다양한 사용 사례, 그리고 실제 코딩에 적용하는 방법까지 자세히 살펴보겠습니다. 1. Type Hint, 타입 힌트란 무엇인가? 파이썬은 동적 타이핑 언어이기 때문에 변수나 함수의 타입을 명시적으로 선언할 필요가 없습니다. 하지만 타입 힌트를 사용하면 코드에 사용되는 타입을 명시적으로 표시하여 다음과 같은 다양한 장점을 얻을 수 있습니다. 코드 가독성 향상: 코드를 읽는 사람이 변수나 함수의 역할과 의미를 쉽게 이해할 수 있도록 도와줍니다. 코드 안정성 향상: 타입 오류를 미리 감지하여 개발 단계에서 버그를 예방하고 코드의 안정성을 높입니다. 코.. 2024. 2. 20. Python - HTTPX/Requsets Connection reset by peer 문제 해결하기 Connection reset by peer 오류는 서버와의 연결이 끊어졌을 때 발생하는 일반적인 오류이다. httpx에서 이 오류가 발생하는 경우 다음과 같은 몇 가지 해결 방법을 시도해 볼 수 있다. 여기에서는 HTTPX 를 이용하지만, Requests 라이브러리에서도 동일하게 조치가 가능하다. 서버 환경 설정등 확인해야 할 것이 많지만, 기본적으로 확인해야 하는 요소는 다음 3가지이다. timeout keep-alive 연결 재시도 1. 연결 시간 제한 확인 timeout 매개변수를 사용하여 연결 시간 제한을 늘리면, 서버가 처리하지 못하는 상황에 보다 대기시간을 가져서 처리를 할 수 있다. httpx import httpx client = httpx.Client(timeout=10) # 연결 시간.. 2024. 2. 20. Python - SQLAlchemy로 row 업데이트(update) 방법 3가지 SQLAlchemy로 row 업데이트하는 방법 으로 여기에서는 많이 사용되는 3가지 방법에 대해서 정리해 본다.. 1. update() 함수 사용: update 함수는 Metadata를 이용해서 테이블 정보를 가져오는 경우 사용할 수 있다. from sqlalchemy import update # 업데이트할 테이블 선택 table = User # 업데이트 조건 설정 where_clause = table.c.id == 1 # 업데이트할 값 설정 values = {"name": "새로운 이름"} # 업데이트 쿼리 실행 session.execute(update(table).where(where_clause).values(values)) session.commit() 2. Model 객체 수정: 이는 모델 구조.. 2024. 2. 19. Python - SQLAlchemy 검색 결과 (exists/ not exists)있는지/없는지 확인 from sqlalchemy import exists query = session.query(User).filter(User.name == "John Doe") if query: # 검색 결과가 있으면실행 print("검색 결과가 있습니다.") if not query: # 검색 결과가 없으면 실행 print("검색 결과가 없습니다.") 다음은 SQLAlchemy에서 검색 결과가 있는지 혹은 없는지에 따라서 처리해야 하는 상황에 사용하는 방법 몇가지를 여기에 정리해 본다. 1. first() 또는 one() 메서드 사용 first() 또는 one() 메서드는 쿼리 결과의 첫 번째 행을 가져옵니다. 결과가 없으면 예외를 발생시킵니다. 다음과 같이 사용할 수 있습니다. from sqlalchemy.orm im.. 2024. 2. 19. Python - 임포트 함수 참조 순서 다른 파이썬 파일에 있는 변수, 함수, 클래스를 사용하기 위해서는 해당 변수, 함수, 클래스가 들어있는 모듈이나 패키지를 import해야 한다. import [모듈이나 패키지] 모듈과 패키지 임포트 참조 순서 import 할 때 모듈과 패키지를 찾기 위해 다음과 같은 장소를 순서대로 검색합니다. 1. 내장함수(sys.modules) 파이썬이 이미 import한 모듈과 패키지를 저장하고 있는 경로 print() 같은 것이 내장함수 이다. 2. 공식함수(built-in modules) 파이썬에서 제공하는 공식 라이브러리입니다. 가장 기본적으로 제공하는 함수들, os 라이브러리 등이 공식함수 이다. 3. 설치함수(sys.path) 로컬 프로젝트들의 경로에 존재하는 경로로, 가장 마지막에 찾게 된다. 직접 구성.. 2024. 2. 19. 이전 1 ··· 10 11 12 13 14 15 다음 반응형
