Summers har tre barn från första äktenskapet med Victoria Perry: enäggstvillingdöttrarna Pamela och Ruth samt sonen Harry. Han gifte om sig 2005 med litteraturvetaren Elisa New, som är professor vid Harvard.
Summers arbetade 1991–1993 som chefsekonom vid Världsbanken och senare i olika befattningar vid USA:s finansdepartement under president Bill Clinton. Han var finansminister i ett och ett halvt år och återvände därefter till Harvard som universitetets rektor.
Under sin tid som rektor vid Harvard försökte Summers reformera och effektivisera det välkända universitet, bland annat genom att motverka betygsinflation och uppmunta till högre forskningsproduktivitet. Detta ledde till viss friktion med andra professorer. Han är även en stark förespråkare av frihandel och globalisering; hans åsikter uppfattades som kontroversiella vid Harvard när han var rektor. I ett tal[28] kommenterade han vidare ämnet kön och intelligens. Han spekulerade i att även om män och kvinnor har samma genomsnittliga intelligens, kan män ha större spridning, vilket skulle leda till att män blir överrepresenterade både bland dem med mycket låg och mycket hög intelligens. Detta skulle, enligt Summers, kunna bidra till att män är i majoritet bland framstående forskare. Detta uttalande uppfattades som ytterst kontroversiellt och bidrog till att han fick avgå i förtid som rektor.[29]
^SNAC, SNAC Ark-ID: w6kn34xj, läs online, läst: 9 oktober 2017.[källa från Wikidata]