Cafodd y plasty Gothig Tuduraidd o'r 19eg ganrif ei ddylunio gan y pensaer Thomas Hopper ar gyfer Christopher Rice Mansel Talbot.
Cafodd y plasty ei adeiladu rhwng 1830 a 1840 am £50,000 gan ddefnyddio tywodfaen o chwarel y Pîl gerllaw. Ac yntau'n blasty o safon eithriadol wedi'i gofrestru'n Radd 1, mae gan y castell nodweddion trawiadol megis y neuadd risiau enfawr a'r tŵr wythonglog.
Un o'r ymwelwyr cyson â Margam oedd cefnder Talbot, Henry Fox Talbot o Lacock. Ffotograffydd arloesol ydoedd a lwyddodd i dynnu un o'r golygfeydd ffotograffig cynharaf sy'n dangos cornel y ffasâd de-orllewinol yn glir.
Arhosodd y castell a'r ystâd ym meddiant y teulu Talbot tan 1942. Yna fe'i trosglwyddwyd i ddwylo tirfeddiannwr lleol, Syr David Evans Bevan, ac ym 1974 i'r cyngor sir, sef y perchnogion presennol, pan oedd mewn cyflwr adfeiliedig.
Ym 1977, cafodd y tu mewn ei ddifa gan dân trychinebus. Lansiwyd rhaglen adfer uchelgeisiol ac mae llawer wedi cael ei gyflawni erbyn hyn. Mae'r rhaglen yn parhau.