Nato a Treviglio da famiglia contadina, Ermanno si trasferisce giovanissimo a Milano per impiegarsi presso la EdisonVolta: ne organizza il servizio cinematografico dirigendo - tra il 1953 ed il 1961 - una trentina di documentari, tra i quali "La diga sul ghiacciaio" (1953), "Tre fili fino a Milano" (1958), "Un metro è lungo cinque" (1961).
Nel frattempo, debutta nel lungometraggio con "Il tempo si è fermato" (1959), dove si narra dell'amicizia fra uno studente ed un guardiano di diga. Due anni più tardi, conquista i favori della critica con "Il posto", opera sulle aspirazioni di due giovani alle prese con il loro primo impiego.
L'attenzione al quotidiano, alle cose minute della vita, viene ribadita nel successivo "I fidanzati" (1963), vicenda d'ambiente operaio viziata da qualche cedimento all'intimismo: è poi la volta di "...E venne un uomo" (1965), biografia di Giovanni XXIII.
Dopo un periodo contrassegnato da lavori non del tutto riusciti il regista ritrova l'ispirazione dei giorni migliori nella coralità de "L'albero degli zoccoli" (1977), Palma d'oro al Festival di Cannes. Segue una grave malattia, che lo terrà a lungo lontano dagli schermi, ad Asiago.
Il rientro avviene nel 1987, con il claustrofobico ed angoscioso "Lunga vita alla signora!", premiato a Venezia con il Leone d'argento; quello d'oro, lo otterrà invece l'anno seguente con "La leggenda del santo bevitore".
Nel 2000 gira "Il Mestiere delle Armi", dramma epico-storico che narra le gesta del nobile cavaliere Joanni de Medici. Nel 2003 con "Cantando dietro i paraventi", racconta la storia della celebre Ching, una donna pirata cinese. Il film ottiene il Nastro d'Argento 2004 per Miglior Soggetto, Miglior fotografia e Miglior Scenografia, e il David di Donatello 2004 per la Miglior Scenografia, i Migliori Costumi e Miglior effetti Speciali.
Ha preso parte alla direzione del film "Tickets" (2005) insieme ad Abbas Kiarostami e Ken Loach, e di recente ha diretto la pellicola "Cento Chiodi" (2005) interpretata da Raz Degan.