회귀 알고리즘 정리 및 특징 정리, 사례

1. 선형 회귀 (Linear Regression)

• 특징: 가장 기본적인 회귀 알고리즘으로, 독립 변수와 종속 변수 간의 선형 관계를 모델링합니다.
• 장점: 간단하고 해석이 쉬우며 계산이 빠릅니다.
• 단점: 데이터가 선형적이지 않을 경우 성능이 떨어집니다.

선형 회귀는 실제는 많이 사용되지 않고 교육용도로 많이 사용되고, 기본적으로 선형 회귀를 보완하는 알고리즘들이기 때문에 기본적으로 필수로 알고있어야 하는 알고리즘이다.

 

2. 다중 선형 회귀 (Multiple Linear Regression)

• 특징: 두 개 이상의 독립 변수를 사용하는 선형 회귀입니다.
• 장점: 여러 변수의 영향을 동시에 고려할 수 있습니다.
• 단점: 변수 간의 다중 공선성이 있을 경우 문제가 될 수 있습니다.

다중 선형 회귀는 여러 조건을 한번에 대입해서 볼 수 있다는 장점이 많다 하여 부동산과 같은 조건이 여러개있을때 사용하기 알맞은 알고리즘이다.

 

3. 리지 회귀 (Ridge Regression)

• 특징: 선형 회귀에 L2 정규화를 추가하여 과적합을 방지합니다.
• 장점: 다중 선형 회귀보다 더 안정적인 결과를 제공합니다.
• 단점: 하이퍼파라미터를 조정해야 하는 추가적인 작업이 필요합니다.

다중 선형 회귀에 과/소적합을 방지하기 위해서 만들어졌다. 

4. 라소 회귀 (Lasso Regression)

• 특징: 선형 회귀에 L1 정규화를 추가하여 불필요한 변수의 가중치를 0으로 만들어 변수 선택 기능을 합니다.
• 장점: 모델의 단순화를 통해 해석이 용이합니다.
• 단점: 데이터가 적을 경우 성능이 떨어질 수 있습니다.

5. 엘라스틱 넷 (Elastic Net)

• 특징: 리지 회귀와 라소 회귀의 장점을 결합한 방법으로, L1 및 L2 정규화를 함께 사용합니다.
• 장점: 변수 선택과 규제가 모두 필요한 경우 유용합니다.
• 단점: 두 개의 정규화 하이퍼파라미터를 조정해야 합니다.

6. 의사 결정 트리 회귀 (Decision Tree Regression)

• 특징: 데이터의 특징을 기반으로 의사 결정 트리를 구축하여 회귀를 수행합니다.
• 장점: 비선형 관계를 잘 모델링할 수 있으며 직관적입니다.
• 단점: 과적합의 위험이 있으며, 트리의 깊이가 깊어질수록 성능이 떨어질 수 있습니다.

7. 랜덤 포레스트 회귀 (Random Forest Regression)

• 특징: 여러 개의 의사 결정 트리를 사용하여 예측을 수행하는 앙상블 학습 방법입니다.
• 장점: 과적합을 방지하고, 높은 예측 정확도를 가집니다.
• 단점: 계산 비용이 많이 들며, 해석이 어렵습니다.