Fortul are o formă ovală, cu o lungime de 68 de metri şi o lăţime de 31. Zidurile fortului au o înălţime de 20 de metri. În centrul structurii este o curte şi un palier pentru soldaţi şi ofiţeri. De asemenea, în exterior, ar fi locuri speciale pentru tunuri, după cum reiese în imaginea de mai jos.
Construcţia fortului a fost luată în considerare în timpul lui Louis al XIV-lea între 1661 şi 1667. Se considera că fortul forma o line de fortificaţie împreună cu Fortul Enet şi Fortul de la Rade on Île-d’Aix. Acest fort ar fi umplut distanţa dintre cele două. În 1692, inginerul francez Descombs a început planificarea construcţiei, dar costul extrem de mare a determinat ca proiectul să fie abandonat.
După un raid britanic în 1757 pe Île-d’Aix, francezii au reluat planurile pentru construcţia acestui fort. Şi în acest caz, ideea a fost abandonată, de data aceasta din cauza problemelor logistice.
Eforturile au fost reluate în 1800 de către Napoleon Bonaparte şi în următorul an inginerii francezi au proiectat un fort pentru a fi construit. Pentru a facilita construcţia, a fost construit un port pe île d’Oléron, plus localitatea Boyardville care a fost construită pentru muncitori.
Prima fază a construcţiei a fost stabilirea unei platformee care avea rolul de fundaţie, cu o lungime de 100 de metri şi o lăţime de 50. Proiectul a fost suspendat în 1809 şi a fost reluat în 1837, sub Louis Philippe, în urma tensiunilor cu Marea Britanie.
În sfârşit, fortul a fost terminat în 1857. Acesta putea adăposti 250 de oameni. Totuşi, la această dată tunurile s-au îmbunătăţit şi a făcut ca fortul să fie inutil, întrucât cele două forturi vecine acopereau distanţa.
După 1871, Fortul Boyard a fost folosit ca închisoare militară, apoi după o scurtă perioadă a fost abandonat şi neîngrijit.
