Kōyama sinh ra ở Tỉnh Gifu, từng theo học tại Đại học Nihon nhưng bỏ học giữa chừng để gia nhập công ty sản xuất độc lập Kindai Eiga Kyokai, nơi ông làm trợ lý đạo diễn dưới sự dẫn dắt của các đạo diễn như Kaneto Shindō, Kōzaburō Yoshimura và Tadashi Imai. Ông ra mắt công chúng với bộ phim dành cho trẻ em có tựa đề Koi no iru mura vào năm 1971. Bộ phim thứ hai của ông, Futatsu no hāmonika (1976), đã mang về cho ông một giải mới của Hiệp hội đạo diễn Nhật Bản. Bộ phim của ông vào năm 1983, Hometown, đã được trình chiếu tại Liên hoan phim quốc tế Moscow lần thứ 13. Bộ phim năm 1987, Hachiko Monogatari, xoay quanh câu chuyện về chú chó trung thành Hachikō, đã trở thành bộ phim hàng đầu Nhật Bản về doanh thu tại Nhật trong năm đó. Ông được biết đến với quan điểm humanistic trong các tác phẩm của mình.
