Han debuterte som poet i 1956 og har sidan utgjeve fleire diktsamlingar, to romanar og ei rekkje musikkalbum. I tillegg til sin eigen diskografi har andre artistar gjort over tusen innspelingar av songane hans. Blant dei mest kjende er «Hallelujah», «Suzanne» og «First We Take Manhattan».
Cohen har gjennom karrieren hatt større suksess i Europa enn heime i Nord-Amerika. Musikken hans er av mange blitt oppfatta som depressiv, noko ein musikkmeldar sette på spissen da han skreiv at platene hans burde seljast saman med barberblad. Etter at stemmeleiet sokk i 1980-åra, har den djupe stemma hans i hop med lyse kvinnelege koristar nærast blitt eit varemerke.
