Ornstein học diễn xuất khi còn là một đứa trẻ tại Học viện Nghệ thuật Kịch Mỹ ở Thành phố New York, và sau đó học dưới sự hướng dẫn của Stella Adler. Sau trung học, anh ghi danh vào Trường Nghệ thuật Mason Gross. Anh bỏ học sau năm đầu tiên và chuyển đến Thành phố New York để bắt đầu làm việc chuyên nghiệp. Tín chỉ phim đầu tiên của Ornstein là trong phim Crossing Delancey, nơi anh đóng vai nhân vật phụ "Mickey". Các tín chỉ truyền hình bao gồm vai diễn lặp lại là Thám tử Bonnaventura trong Homicide: Life on the Street, và một chuỗi hai tập trong Third Watch, cũng như các phần trong Seinfeld, Law & Order, Law & Order: Special Victims Unit, và Law & Order: Criminal Intent. Các tín chỉ về diễn xuất trên sân khấu của Ornstein bao gồm 25 năm đóng các vở kịch mới tại Thành phố New York, cũng như tạo ra vai Louis Ironson trong vở kịch Angels in America tại Nhà hát Eureka ở San Francisco vào năm 1991. Ornstein đóng vai Chuck Marstein trong bộ phim Sons of Anarchy.
