James Armando Fitzpatrick sinh ra ở Omaha, Nebraska nhưng trở về Clearwater Beach, Florida khi được ba tháng tuổi, nơi cha mẹ anh (Jim Sr. và Cookie) đến từ đó. Anh bắt đầu sự nghiệp diễn xuất trên sân khấu khi mới 13 tuổi, khi anh xuất hiện trong vở kịch đầu tiên của trường, "A Thousand Clowns", tại trường Trung học Seminole (Florida). Jim đã nhận được học bổng bóng đá đến Đại học bang Illinois với chuyên ngành sân khấu, nơi anh tham gia vào Công ty Steppenwolf Theatre do Gary Sinise và John Malkovich sáng lập. Tuy nhiên, anh đã tạm dừng sự nghiệp diễn xuất để theo đuổi bóng đá chuyên nghiệp, bắt đầu từ năm 1981 với Hamilton Tiger Cats trong Liên đoàn Bóng đá Canada (CFL), sau đó là các giai đoạn ngắn với Chicago Bears ('82) và Baltimore Colts ('82). Sự nghiệp bóng đá của anh kết thúc khi anh nghỉ hưu vào năm 1985, sau khi dành ba mùa giải với Tampa Bay Bandits trong USFL ('83-'85).
