Terminati gli studi al St. Mary's College, Herbert debutta a ventun'anni sul palcoscenico. Rimasto gravemente ferito, duramte la prima guerra mondiale, subisce l'amputazione di una gamba e l'impianto di un alto artificiale. Ciò nonostante, non abbandona il mestiere di attore: l'andatura leggermente claudicante diviene uno dei segni distintivi del suo stile recitativo sobrio ed elegante, che ben presto gli apre le porte del cinema.
Esordisce sul set nel 1927, quando prende parte al film muto "
"Mumsie", di H. Wilcox. Nel 1930 recita in "Murder!" di A. Hitchcock, per il quale lavorerà ancora dieci anni dopo nel "Prigioniero di Amsterdam". Nel 1931 si trasferisce a Hollywood, dove reciterà in una quantità impressionante di film, molti dei quali diretti da registi di grande prestigio. Nel 1932 è il marito di Marlene Dictrich in "Venere bionda" di J. von Sternberg; tornerà accanto alla bravissima attrice tedesca cinque anni dopo in "Angelo" di Lubitsch. Nel '34 è la volta di "Il velo dipinto" a cui seguono "Le vie della fortuna" (1935), "Ombre malesi" (1940) e "Piccole volpi" (1941). Altri melodrammi da lui interpretati sono "L'Angelo delle tenebre! (1935) e "Il filo del rasoio" (1946). Interpreta negli anni 50 e nei primi anni 60 altri film interessanti, quali "La regina dei pirati di J. Tourneur" (1951), "Seduzione mortale" di O. Preminger (1952), e "Merletto di mezzanotte" di D. Miller (1960). Compare per l'ultima volta nel "Terzo giorno", un film di J. Smight del 1965. Muore a Hollywood un anno più tardi, ormai quasi completamente paralizzato.