Leone è nato nel 1957 a Genova, in Italia. La sua famiglia si trasferì nel 1968 negli Stati Uniti quando Leone aveva 11 anni e si stabilì a Mount Vernon, New York. A 16 anni, per raccogliere un po' di soldi, ha fatto il cameriere in un country club. Da lì, confiderà, nacque la sua determinazione di farcela. Leone ha conseguito un Bachelor of Science in ingegneria meccanica presso la Cornell University nel 1979, un Master of Science in ingegneria industriale presso la Columbia University nel 1986, e un Master in management presso la MIT Sloan School of Management nel 1988.

Ha iniziato a lavorare nel 1979 come venditore a Harlem di computer della Hewlett-Packard, poi della Sun Microsystems e Prime Computer. Nel 1988, trasferitosi in California, è entrato a far parte di Sequoia Capital, una società di investimento fondata nel 1972 da Don Valentine, considerato il nonno del venture capital nella Silicon Valley. Una società importante che ha finanziato Apple, Cisco, PayPal, You Tube. Nel 1996 è diventato managing partner della società e nel 2012 managing partner globale insieme a Michael Moritz. Nel 2017, Forbes lo ha classificato tra i primi 10 investitori nel settore della tecnologia negli Stati Uniti e al 693º posto tra gli uomini più ricchi del mondo con un patrimonio stimato di 2,9 miliardi di dollari.

Responsabile degli investimenti tra cui ServiceNow, Aruba, Meraki, Rackspace, Netezza, Arbor / Hyperion, RingCentral e MedExpress, Leone ha guidato l'espansione internazionale di Sequoia in Cina e India. Siede nel consiglio di PlanGrid, NuBank, Medallia, ZirMed, ActionIQ, Numerify. Nel 2014 ha venduto WhatsApp a Facebook per 22 miliardi di dollari.

Leone e sua moglie hanno donato 100 000 dollari per sostenere la campagna di rielezione del presidente Donald Trump per il 2020. Leone è stato anche nominato nella task force di Trump per la ripresa dell'economia durante la pandemia COVID-19. Il Washington Post ha riferito che Leone ha proposto di utilizzare i suoi contatti nell'amministrazione Trump per facilitare la vendita di TikTok (in cui Sequoia aveva investito pesantemente) a una società statunitense.