Orfano di madre a soli sette mesi, cresce con il padre, e a soli sedici anni lascia la scuola e la casa paterna per andare a lavorare in una fabbrica. Folgorato dalla visione della commedia teatrale "The bird of Paradise" e incoraggiato dalla matrigna inizia a recitare in piccole compagnie di teatro itineranti. Limitato dall'aspetto goffo, i denti storti e le orecchie a sventola, ottiene solo piccole parti e deluso si trasferisce a Broadway. Qui incontra Lionel Barrymore, con cui instaura un'amicizia che durerà tutta la vita, che lo presenta al produttore Irving Thalberg.
Nel '31 torna a Hollywood e raggiunge il successo con una serie di film interpretati accanto alle famose dive del momento: Joan Crawford, Greta Garbo e Norma Shearer, grazie anche alla trasformazione della sua immagine. L'attore impersona perfettamente il ruolo di uomo duro e inguaribile seduttore che sa come trattare le donne. La consacrazione arriva nel 1934 con l'Oscar come miglior attore per l'interpretazione del giornalista Peter Warne in "Accadde una notte" di Frank Capra, accanto a Claudette Colbert. Altre nominations arriveranno per "Gli ammutinati del Bounty" (1935) di Frank Lloyd e soprattutto per l'interpretazione di Rhett Butler nel kolossal "Via col vento" di Victor Fleming, nel 1939. Nel 1942 abbandona le scene per arruolarsi in aviazione dopo la perdita della terza moglie, l'attrice Carole Lombard morta in un incidente aereo. Lodato per le valorose imprese compiute sul fronte europeo, torna ad Hollywood ma la sua notorietà comincia ad affievolirsi e torna in auge solo per la sua ultima grande performance in "Gli spostati" di Arthur Miller del 1961. Due giorni dopo la fine delle riprese muore per un infarto.