Sử sách không ghi chép về thân thế, quê quán của Phạm Bỉnh Di, chỉ nêu ông là hoạn quan và có con là Phạm Phụ. Có thể Phạm Bỉnh Di đã lập gia đình trước khi làm hoạn quan.