Deciso a intraprendere la carriera cinematografica come art director, James si iscrive all'Università dell'Oregon e si laurea in architettura. Dopo un breve periodo passato in Francia per studiare la lingua, torna negli Stati Uniti e si iscrive al dipartimento di Cinema e Tv della University of Southern California.
Il primo film da lui scritto, diretto e prodotto è "Venice: Themes and Variations" (1957), un documentario di 28 minuti realizzato dopo un viaggio a Venezia.
L'India è invece alla base del secondo film, "The sword and the flute" (1959), pellicola che ottiene ottime critiche.
Grazie al Ismail Merchant, un giovane indiano, fonda nel 1961 una casa di produzione, la Merchant-Ivory Productions.
Ai due si unisce anche la scrittrice tedesca Ruth Prawer Jhabvala e insieme cominciano a realizzare una serie di film, molti dei quali ambientati in India e imperniati sul confronto fra civilt%uFFFD diverse: ricordiamo "Il capofamiglia" (1963) e "Shakespeare Wallah" (1965). Seguono poi alcune pellicole tratte da romanzi di scrittori inglesi, come "Gli Europei" (1979), "I Bostoniani" (1984).
Nel 1985 realizza con successo "Camera con vista" che ottiene 8 candidature all'Oscar di cui tre vinti, due anni più tardi è la volta di "Maurice" (1987) Leone d'argento a Venezia e "Casa Howard" (nel 1992) che si aggiudica tre statuette.
Nel 2000 dirige il drammatico "The golden bowl" e nekl 2002 " Le Divorce", con Kate Hudson, Naomi Watts e Glenn Close.
Ha diretto la pellicola "The White Countess" (2005), con Ralph Fiennes e Natasha Richardson e il film drammatico "The City of Your Final Destination" (2009) con Anthony Hopkins, presentato fuori concorso alla quarta edizione del Festival di Roma.