앙상블 2

2. 편향-분산 트레이드 오프 (Bias-Variance trade off)

안녕하십니까 허브솔트입니다. 지난 시간에는 앙상블의 알고리즘들에 대해 알아보았는데요, 오늘은 편향 분산 트레이드 오프에 대해 공부해 볼께요! 편향 분산 트레이드 오프는 비단 앙상블에만 적용되는 것이 아니라 지도학습에 전반에서 매우 중요한 내용입니다. 따라서 다루고 넘어가보도록 할게요. 편향과 분산의 관계를 알기 전에, 이것들이 뭔지 우선 알아야겠죠. 위키피디아에서는 아래와 같이 정의합니다. The bias is error from erroneous assumptions in the learning algorithm. High bias can cause an algorithm to miss the relevant relations between features and target outputs (under..

기계학습 2022.04.15

1. 앙상블(Ensemble) 기법과 배깅(Bagging), 부스팅(Boosting), 스태킹(Stacking)

안녕하세요, 허브솔트에요. 저희 데이터맛집의 허브솔트 첫 글 주제로 앙상블이 당첨됐네요...! 요새 캐글의 상위권 메달을 휩쓸고 있는 대세 알고리즘이 앙상블 기법을 사용한 알고리즘의 한 종류인 XGBoost라죠? 머신러닝의 성능을 극대화하고 보완하는 앙상블은 그만큼 중요하고 의미가 있습니다. XGBoost도 추후에 다뤄보도록 할게요. 우선 큰 갈래를 잡고 시리즈로 연재를 해보도록 하겠습니다. 그럼 달려봅시다 빠샹 가. 앙상블(Ensemble)이란? - 백지장도 맞들면 낫다. 머신러닝 또한! - 말 그대로 앙상블입니다. 머신러닝을 위한 다양한 학습 알고리즘들을 결합하여 학습시키는 것으로, 예측력의 보완은 물론, 각각의 알고리즘을 single로 사용할 경우 나타나는 단점들을 보완하죠. 위키피디아에서는 앙상블..

기계학습 2022.04.15