AdaBoost

AdaBoost (сокращение от англ. adaptive boosting) — алгоритм машинного обучения, предложенный Йоавом Фройндом^[англ.] и Робертом Шапире^[англ.]. Может использоваться в сочетании с несколькими алгоритмами классификации для улучшения их эффективности. Алгоритм усиливает классификаторы, объединяя их в ансамбль. Является адаптивным в том смысле, что каждый следующий ансамбль классификаторов строится по объектам, неверно классифицированным предыдущими комитетами. AdaBoost чувствителен к шуму в данных и выбросам. Однако он менее подвержен переобучению по сравнению с другими алгоритмами машинного обучения.

AdaBoost вызывает слабые классификаторы в цикле ${\displaystyle t=1,\ldots ,T}$. После каждого вызова обновляется распределение весов ${\displaystyle D_{t}}$, которые отвечают важности каждого из объектов обучающего множества для классификации. На каждой итерации веса каждого неверно классифицированного объекта возрастают, таким образом новый комитет классификаторов «фокусирует своё внимание» на этих объектах.