Jeff cresce a Chelsea nel Michigan, dove frequenta la Central Michigan University di Mount Pleasant. E' proprio durante gli anni del college che inizia ad appassionarsi alla recitazione, e dopo aver partecipato alla produzione "Summer and Smoke" di Marshall W. Mason si trasferisce a New York per recitare con lo stesso Mason nella Circle Repertory.
Il debutto cinematografico avviene nel 1981, con un ruolo secondario in "Ragtime" di Milos Forman. Il successo arriva con le successive interpretazioni in "Voglia di tenerezza" (1983) di James L. Brooks e "La rosa purpurea del Cairo" (1985) di Woody Allen.
In seguito si mette in evidenza anche in film come "Aracnofobia" (1990) di Frank Marshall, il drammatico "Gettysburg" (1993) di Ronald F. Maxwell e la commedia demenziale "Scemo e più scemo" (1994) dei fratelli Farrelly accanto a Jim Carrey.
Nel 2002 è protagonista accanto a Clint Eastwood del film "Debito di sangue", presentato fuori concorso al Festival del Cinema di Venezia. Negli anni Novanta fonda la Purple Rose Films, con cui ha prodotto i film "Escanaba in da Moonlight" (2001) ,tratto da una sua pièce teatrale e "Super Sucker" (2002) vincitore del premio del pubblico all' U.S. Comedy Arts Festival di Aspen.
Ha lavorato nel film "Il mio amico a quattro zampe" (2005) e nel film di George Clooney, "Goodnight, And Good Luck" (2005).
Ha girato accanto a Robin Williams "Vita da camper" (2006) e insieme a Sandra Bullock e Daniel Craig "Infamous" (2006) di Douglas McGrath.
Di recente è protagonista del film drammatico "Sguardo nel vuoto" (2007).