Né à New York en 1942, Conway a joué son premier grand rôle à l’écran dans Slaughterhouse-Five en 1972, basé sur le roman acclamé de Kurt Vonnegut, en tant que soldat violent Roland Weary.
Il a continué à apparaître dans de nombreux films et émissions de télévision au cours d’une carrière de quatre décennies, y compris un rôle récurrent en tant que père violent Seamus O’Reily dans le drame de la prison Oz. Ses autres rôles comprenaient le père de Mark Wahlberg à l’écran dans le drame de football Invincible, le Sgt fictif.
Buster Kilrain dans Gettysburg en 1993 et son film compagnon Gods and Generals en 2003, et le vicieux Eugene Dred dans The Quick and the Dead de Sam Raimi. À la télévision, il a joué le rôle principal dans The Good Wife, Law & Order et Star Trek: The Next Generation, entre autres émissions, et a travaillé en voix off pour plusieurs documentaires de Ken Burns.