Năm 979 Đinh Toàn chỉ mới 6 tuổi, con trai còn lại của Đinh Bộ Lĩnh lên ngôi, là Đinh Phế Đế. Quyền lực thực tế năm trong tay Thập đạo tướng quân Lê Hoàn, là nhiếp chính. Các đại thần Đinh Điền, Nguyễn Bặc, Phạm Hạp thấy vậy, lại nghi Lê Hoàn tư thông cùng Thái hậu Dương Vân Nga nên cử binh đến đánh. Lê Hoàn thắng trận và lên ngôi vua, lấy hiệu là Lê Đại Hành.

Năm 980 lúc này nhà Tống đã mạnh, nên có ý nhòm ngó nước ta, nhân cơ hơi triều đình còn lộn sộn quân Tống thừa cơ hội đem quân sang đánh nước ta. Lê Hoàn cầm quân chống lại quân Tống. Tháng 4 năm 981ông đả đại thắng quân Tống. Tuy người có công đánh tan cuộc xâm lược của nhà Tống. Nhưng theo quan điểm Nho giáo ông bị chê trách về đạo vợ chồng do ông đã lập Dương Vân Nga, hoàng hậu của Đinh Tiên Hoàng làm một trong năm hoàng hậu của mình cũng như về việc không sớm lập người kế vị để sau này dẫn đến việc tranh giành quyền bính giữa các con. Đây chính là nguyên nhân trực tiếp làm cho nhà Tiền Lê nhanh chóng sụp đổ.