Theo Lê Nhân đại tộc phả ký, khoảng năm 1407, khi cuộc kháng chiến chống giặc Minh xâm lược của Vương triều Hồ bị thất bại, Lê Nhân Thực, vốn quê gốc ở làng Trà Giai, huyện Đông triều, trấn Hải Dương, đã đưa gia đình vào phía Nam Thanh Hoá ẩn cư. Lúc đầu Lê Nhân Thực vào ở vùng Lương Niệm, huyện Quảng Xương trong thời gian chừng 2 – 3 năm, sau đó, lại dời về vùng Cồn Cách - Mả Ngạ, gần chân núi Đòn sinh sống.