In de mechanica en de meetkunde is de rotatiegroep de groep van alle rotaties rondom de oorsprong van driedimensionale euclidische ruimte onder de operatie van samenstelling. Per definitie is een rotatie rondom de oorsprong een lineaire transformatie die de lengte van vectoren bewaart (het is een isometrie) en bewaart deze rotatie de oriëntatie (dat wil zeggen handedness) van de ruimte. Een lengtebewarende transformatie die de oriëntatie omkeert wordt een oneigenlijke rotatie genoemd. Elke oneigenlijke rotatie van de driedimensionale euclidische ruimte is een spiegeling in een vlak door de oorsprong.
Het samenstellen van twee rotaties resulteert in een andere rotatie; iedere rotatie heeft een unieke inverse rotatie en de identiteitsfunctie voldoet aan de definitie van een rotatie. Door deze bovengenoemde eigenschappen, is de verzameling van alle rotaties een groep onder samenstelling. Bovendien heeft de rotatiegroep een natuurlijke variëteitsstructuur voor welke de groepsbewerkingen glad is; het is in feite dus een Lie-groep. De rotatiegroep wordt vaak aangeduid met SO(3), of ook wel met [1].