Die Anfänge der olympischen Bewegung in Serbien liegen in der Zeit vor dem Ersten Weltkrieg. Nachdem sich die Idee der Olympischen Spiele etabliert hatte, entstanden im Königreich Serbien erste Gedanken zur Teilnahme des Landes. Am 10. Februar 1910 wurde in Belgrad der Serbische Olympische Club ins Leben gerufen, der die Aktivitäten zur Entsendung einer Mannschaft zu den Olympischen Sommerspielen vorantrieb. Schließlich reiste im Sommer 1912 eine fünfköpfige serbische Delegation, darunter zwei Leichtathleten und drei Funktionäre, nach Stockholm, um dort erstmals ihr Land bei den olympischen Wettkämpfen zu repräsentieren. Am Rande der Spiele wurde der serbische Delegationsleiter General Svetomir Đukić, der auch einer der Mitbegründer des Serbischen Olympischen Clubs war, in das Internationale Olympische Komitee gewählt, dem er bis zu seinem Tod im Jahr 1949 angehörte.
Nach der Gründung des Königreichs der Serben, Kroaten und Slowenen, dem späteren Jugoslawien, wurde am 14. Dezember 1919 in Zagreb das Jugoslawische Olympische Komitee (JOK) gegründet, in dem der Serbische Olympische Club und der Kroatische Sportverband aufgingen. Die serbischen Sportler starteten fortan im Team des geeinigten Jugoslawiens.
Das JOK bestand auch nach dem Zerfall Jugoslawiens und dem Ausscheiden von Slowenien, Kroatien, Bosnien und Herzegowina sowie Mazedonien aus dem jugoslawischen Staatenverbund im Jahr 1991 weiter. Den Sportlern aus den verbleibenden Teilstaaten Jugoslawiens, Serbien und Montenegro, blieb zunächst die Teilnahme an Olympischen Spielen verwehrt. Die von den Vereinten Nationen infolge des Kroatien-Krieges verhängten Sanktionen, beinhalteten auch einen Ausschluss jugoslawischer Sportler von internationalen Wettkämpfen. Das IOC gewährte jedoch bei den Olympischen Sommerspielen 1992 in Barcelona einigen Sportlern aus Jugoslawien als unabhängige Teilnehmer an den Start zu gehen. Erst 1996 bei den Olympischen Sommerspielen in Atlanta kehrte Jugoslawien wieder in den Kreis der olympischen Familie zurück.
Am 3. April 2003 wurde das Olympische Komitee von Serbien und Montenegro als Rechtsnachfolger des JOK gegründet. Nach der Auflösung des Staatenbundes Serbien und Montenegro wurde dieses wiederum am 8. Juni 2006 zum Olympischen Komitee Serbiens umbenannt.