반응형 Bigdata56 딥러닝 - 텐서(Tensor)란? 텐서(Tensor)는 기본적으로 가장 임베딩전 특정 인덱스(Index)로 만들어진 다차원의 배열(array)로 이루어진 데이터 형태를 말한다.여기에서 인덱스란 데이터를 컴퓨터가 이해할 수 있도록 변환된 값과 매칭되는 키라고 할 수 있다.텐서는 배열을 표현하는 방식을 수학적으로 접근하여 얘기하는 것이고, 이를 프로그램 입장에서는 다차원(여러 차원)을 가진 배열이라고 할 수 있다.그리고 텐서는 배열의 형태에 따라 다음과 같이 불리울 수 있다.Rank Type(타입)0 scalar(스칼라): [1]1 vector(벡터): [1,1]2 matrix(메트릭스): [[1,1],[1,1]]3 3 tensor: [[[1,1],[1,1]],[[1,1],[1,1]]]n N tensor.. 2024. 8. 11. RNN 단점 - 기울기 소실(vanishing gradient)과 장기 의존성 문제(long-term dependency problem) RNN의 단점으로 지적되는 기울기 소실, 장기 의존성 문제은 Sigmold Activation Function과 관계가 있고 RNN에서 닥 시계열 데이터를 입력할 때 기울기를 위해 Sigmoid Activation을 진행하는데, 아래 그림과 같이 올라가거나 내려갈수록 점점 1혹은 0과 큰 차이가 없어진다는 것이다. 기울기 소실(vanishing gradient): RNN은 입력과 출력 사이의 연결이 순환 구조로 되어 있기 때문에, 역전파를 통해 가중치를 업데이트할 때 기울기가 점차 소실되었어. 기울기가 소실되면, 가중치가 제대로 업데이트되지 않아 학습이 어려워 진다장기 의존성 문제(long-term dependency problem): RNN은 과거의 정보를 기억하고 이를 바탕으로 현재의 정보를 처리하기.. 2024. 8. 11. 머신러닝 - 결정계수와 과대/과소적합 결정계수(R)머신러닝에서 결정계수는 대표적인 회귀 문제의 성능 측정 으로 사용된다.결정계수를 사용하는 이유는, 회귀의 테스트를 진행할 때 정확 한 숫자를 맞추기는 어렵기 때문에, 예측값과 목표값의 평균을 통해 예측값이 목표값에 얼마나 가까운지를 확인하여 평가하게 된다. 공식은 복잡해 보이지만, 예측값과 실제 값의 차이를 1과 0 사이의 값으로 표현한 것이라고 이해하면 좋을 듯 하다.1에 가까울 수록 좋고, 0에 가까울 수록 성능이 나쁜 모델이라고 할 수 있다.과대/과소적합과대적합과 과소적합은, 훈련 세트와 테스트 세트간 문제점을 얘기할 때 많이 사용되는 용어이다.과대적합은 학습 데이터가 복잡해지면 발생할 수 있는데, 이유는 학습 데이터의 모든 세부 사항을 학습하게 되는데, 이렇게 되면 학습 데이터의 노.. 2024. 8. 11. FFNN - 순방향 신경망(feedforward neural network) 순방향 신경망(feedforward neural network) 모델은 데이터가 한 방향으로 전달되는 순방향(feedforward), 한가지 방향으로만 연결성을 갖는 구조로 되어 있으며, 퍼셉트론의 연산과 같은 기본 뉴런 연산으로 실행하여, 결과를 추론하는 딥러닝에서 가장 기본에 되는 모델이다. 위 그림과 같이 기본적으로 3개의 레이어로 이루어져 있으며, Input layer를 통해 데이터를 전달 받고, Hidden layer는 데이터의 특징(편향된 값)을 추출하고, Output layer는 추출된 특징을 기반으로 추론한 결과를 외부에 출력한다. Transformer에서는 FFNN을 이용해서 동일한 레이어의 경우 동일한 값을 사용하는데, 이유는 다음 레이어에서 허용할 수 있는 벡터로 변환하기 위해서 사.. 2024. 8. 11. OpenAI 등, 문서 요약, Text Summarization API 사이트들 텍스트 요약 API는 AI 요약 모델을 지능형 플랫폼에 통합하여 미팅, 통화, 인터뷰, 법률 문서 등을 위한 AI 기반 요약 도구를 만들고 있는데, 이를 보통 AI Text Summarization 라고 한다.여기에서는 텍스트 요약이 정확히 무엇인지 간단히 알아보고, 몇 가지 최고의 텍스트 요약 API 대해 알아보자.NLP와 Text SummarizationNLP는 Natural Language Processing의 약자로 인간의 언어인 자연어 처리에서 Text Summarization는 딥 러닝 및 기계 학습 모델을 사용하여 대량의 텍스트를 가장 중요한 부분으로 합성하는 프로세스를 의미한다.이 기술을 이용하면, 연구 논문이나 뉴스 기사와 같은 정적인 기존 텍스트 또는 팟캐스트 또는 YouTube 비디오.. 2024. 8. 11. 머신러닝 - 다항 회귀(Polynomial Regression) 알고리즘 특징과 코드 과거 데이터를 이용해서 미래의 값을 예측하는 선형 회귀를 공부해 보았다.머신러닝 - 선형 회귀(Linear regression) 알고리즘 특징과 코드 (asecurity.dev)이제 그럼 선형 회귀의 일반적인 문제점인 과소적합에 대해서 알아보자. 선형 회귀는 직선을 그리기 때문에, 특정 값은 과도하게 작은 문제가 있다. 즉 작은 값이 0이 되는 문제가 발생한다. 위 예제에서도 아무리 과거라고 해도 아파트 가격이 0원일리는 없을 것이다.이러한 문제를 해결 할 수 있도록 제공하는 것이 다항 회귀이다.다항회귀는 아래 그림과 같이 곡선을 가지도록 하여, 특정 예측 이하의 값이 나타나지 않도록 하여 보다 적합한 예측을 할 수 있도록 도와준다.다항 회귀는 선형 회귀에 PolynomialFeatures 를 추가하여 .. 2024. 8. 11. 허깅페이스(huggingface) - transformers등 기본 모델 위치 허깅페이스에서 다운로드를 하다보면, 기본적으로 모델이 어디에 다운로드 받아지는 확인이 필요하다.기본설정은 로그인한 사용자 하위의 .cache\huggingface 의 hub 경로에 모델이 다운로드 되어진다.C:\Users\\.cache\huggingface\hub 만약 별도의 경로로 변경하고자 한다면, 환경 변수를 등록해야 하는데, HF_HOME 이라는 환경 변수를 만들어서 원하는 경로를 설정해주도록 하자. HF_HOME 윈도우 기준으로 시작을 누르고 시스템을 입력하면, 자동으로 시스템 환경 변수 편집을 확인 할 수 있다.아래와 같이 환경 변수를 눌려서 새로 만들기을 진행하면, 나만의경로로 허깅 페이스 모델을 관리할 수 있게 된다.사용자 변수는 로그인한 사용자에게만 적용되며, 시스템 변수는 컴퓨터 전체에.. 2024. 6. 10. 머신러닝 - K-최근접 이웃 회귀(KNN Regression) 알고리즘 특징과 코드 k-최근접 이웃 회귀(KNN Regression)은 새로운 데이터의 출력 값을 예측하기 위해 훈련 데이터의 출력 값과 가장 가까운 k개의 데이터를 사용합니다. k는 사용자 설정 매개변수이며, 값이 작을수록 더 많은 데이터를 고려하게 되고, 값이 클수록 더 적은 데이터를 고려하게 됩니다.k-최근접 이웃 회귀 알고리즘은 훈련 데이터에서 새로운 데이터와 가장 가까운 k개의 데이터를 찾아서, 해당 k개의 데이터의 출력 값을 평균하여 새로운 데이터의 출력 값을 예측하는 방식이다.k는 예측에 사용된 최근접 이웃 갯수로 만약 3개으로 하였다면, 3개의 최근접 이웃의 데이터를 통해 값을 예측한다. y(x) = \frac{\sum_{i=1}^k y_i^k}{k}- y(x)는 새로운 데이터 x의 출력 값을 예측한 값- y.. 2024. 6. 8. 머신러닝 - 결정계수와 과대/과소적합 결정계수(R)머신러닝에서 결정계수는 대표적인 회귀 문제의 성능 측정 으로 사용된다.결정계수를 사용하는 이유는, 회귀의 테스트를 진행할 때 정확 한 숫자를 맞추기는 어렵기 때문에, 예측값과 목표값의 평균을 통해 예측값이 목표값에 얼마나 가까운지를 확인하여 평가하게 된다. 공식은 복잡해 보이지만, 예측값과 실제 값의 차이를 1과 0 사이의 값으로 표현한 것이라고 이해하면 좋을 듯 하다.1에 가까울 수록 좋고, 0에 가까울 수록 성능이 나쁜 모델이라고 할 수 있다.과대/과소적합과대적합과 과소적합은, 훈련 세트와 테스트 세트간 문제점을 얘기할 때 많이 사용되는 용어이다.과대적합은 학습 데이터가 복잡해지면 발생할 수 있는데, 이유는 학습 데이터의 모든 세부 사항을 학습하게 되는데, 이렇게 되면 학습 데이터의 노.. 2024. 6. 8. 이전 1 2 3 4 5 6 7 다음 반응형
