V matematice a fyzice se teorie chaosu zabývá chováním jistých nelineárních dynamických systémů, které (za jistých podmínek) vykazují jev známý jako deterministický chaos, nejvýznamněji charakterizovaný citlivostí na počáteční podmínky (viz motýlí efekt). V důsledku této citlivosti se chování těchto fyzikálních systémů, vykazujících chaos, jeví jako náhodné, i když model systému je deterministický v tom smyslu, že je dobře definovaný a neobsahuje žádné náhodné parametry. Příklady takových systémů zahrnují atmosféru, solární systém, kyvadlo,[1] tektoniku zemských desek, turbulenci tekutin, ekonomii, vývoj populace.
Systémy, které vykazují deterministický chaos, jsou v jistém smyslu složitě uspořádané. Tím je význam slova v matematice a fyzice v jistém nesouladu s obvyklým chápáním slova chaos jako totálního nepořádku. Původ tohoto slova lze najít v řecké mytologii („chaos“).
Příbuzným oborem vědy je kvantový chaos, teorie, která studuje chaotické chování v kvantových systémech.