A Csák nemzetség a XVI. századra is átvitte birtokjogát, ekkor a Kisfaludy és Ládonyi családok birtokolták a falut. 1635-ben a Kisfaludy család és Dobos György birtokában volt a község, a század végén azonban Esterházy Pál nádor lett a falu tulajdonosa, aki a szentmiklósi, illetve süttöri uradalmának kereteibe iktatta a falut. Agyagos sorsa a XVII. század végétől kezdve összefonódott a szentmiklósi uradalom történetével. A népesség száma közel két évszázadon át változatlan volt, 8–10 jobbágycsaládból és ugyanannyi nincstelen zsellérből állt. Agyagos a XVII. században halász- és földműves falu.

A XVII. század végén a szinte elviselhetetlen adók elől az agyagosiak úgy próbáltak menekülni, hogy telkeikről kivonultak a falu végére, az adómentes gyöpre. 1711 után indult meg a fejlődés. A XVIII. század folyamán – a szemtermés mellett – is fontos megélhetési forrást jelentett a halászó vizek hozadéka. A gyékény fonásból és a sás aratásából is jelentékeny hasznot húztak. Fertőszergény első írásos említése 1365-ben Zerghen néven történt. A középkorban a Gyórói és Nyéki család, a XV. század közepétől a Kanizsayak voltak a birtokosok. A XVIII. század elején az Esterházy-tulajdont képező szentmiklósi uradalomhoz került. A XVI–XVII. században a halászat és erdőirtás még nagyobb szerepet játszott a község életében, mint a földművelés.

A falu temploma egyhajós, egytornyú, romantikus stílusú épület. Az eredeti, szent Mártonról elnevezett szergényi templom feltehetően a XIII. században épült és az 1529-es török átvonulás alkalmával pusztult el. A jelenlegi szent László templom Szergényben épült 1777-ben, tornyát 1792-ben emelték.

Agyagosszergény 1990-ben vált önálló községgé. Napjainkra a településen a víz, villany, szennyvízcsatorna és gázvezeték 100%-ban kiépített.

A faluban napközi otthonos óvoda és általános iskola működik. Mindkét intézmény a Fertődi óvoda, illetve általános iskola tagintézménye. Az óvodába járó gyermekek száma 21 fő, míg az általános iskolába 32 tanuló jár. A Művelődési Ház egész évben programokat nyújt a településen élők számára.