Mako sinh ra tại Kobe, Nhật Bản, là con trai của tác giả và họa sĩ truyện tranh nổi tiếng Taro Yashima. Cha mẹ của anh chuyển đến Hoa Kỳ khi anh còn nhỏ. Anh gia nhập họ ở đó sau Thế chiến II, vào năm 1949, và gia nhập quân đội vào những năm 1950. Anh trở thành công dân Hoa Kỳ nhập tịch vào năm 1956. Khi Mako đầu tiên gia nhập cha mẹ của mình tại Hoa Kỳ, anh học kiến trúc. Trong thời gian phục vụ quân đội, anh phát hiện ra tài năng sân khấu của mình và được đào tạo tại Pasadena Community Playhouse. Mako kết hôn với nữ diễn viên Shizuko Hoshi, với người mà anh có hai cô con gái (cả hai đều là diễn viên) và ba cháu ngoại.
