De kerk wordt vermeld in 1006, waarschijnlijk toen van hout. In de 14^e eeuw werd de stenen kerk met toren gebouwd en was toegewijd aan St. Servatius. Dit duidt er op dat de kerk niet vanuit Aalburg werd gesticht, maar een aparte status had. In 1474 stichtten Johan van Hemert en zijn vrouw Sophia van Bylant er een kapittel met 8 kanunniken. Wellicht woonden drie kanunniken in Wielestein, dat huis had immers drie aparte kamers. Anderen woonden waarschijnlijk tegenover de kerk en rond het kerkhof. In 1560 werd alsnog een koor aan de kerk gebouwd, als plaats voor de kanunniken om hun gezangen en psalmen te doen. Slechts 12 jaar later in 1572 gingen Hemert en Bern verloren voor de katholieken door de inval van Maurits met zijn Staatse troepen. De paters uit het Bernse klooster vluchtten naar Den Bosch en van de kapittelheren werd niets meer vernomen. De laatste deken was ook kapittelheer in de St Jan, wellicht bracht hij de stichtingsakte naar Den Bosch in veiligheid, daar wordt ze nog steeds bewaard.
Tot 1600 waren er veel schermutselingen tussen de Staatse en Spaanse troepen. In 1589 werd de schans gebouwd en vlak daarna het kasteel gefortificeerd. Ook de kerk werd ernstig beschadigd. In 1633 – na de inname van Den Bosch werd het rustiger in de Bommelerwaard – werd de kerk hersteld door Johan Torck en in gebruik gegeven aan de Hervormde godsdienst. Op de stenen in de oude kerkmuur staat dit feit te lezen in het Latijn en in het Nederlands. In 1836 werd de kerkvloer anderhalve meter opgehoogd vanwege de overstromingen. Ook dit staat op een steen vermeld. Het was niet alleen als vluchtplaats, maar ook omdat de graven bij hoog water steeds onderliepen wat een vreselijke stank in de kerk tot gevolg had.
Op 11 november 1944, een dag nadat de inwoners geëvacueerd waren, werd de toren opgeblazen door de Duitsers. Weliswaar viel de toren naar het zuiden, zodat een groot deel van de kerk met de preekstoel gespaard bleef, maar de schade was voor de kleine gemeente Nederhemert niet meer op te brengen. Intussen wilde de Rijksdienst voor de Monumentenzorg de stenen graag gebruiken voor de restauratie van de eveneens beschadigde kerk in Well. Zodoende werd op het Eiland alleen het koor gerestaureerd met daaraan een nieuwe klokkentoren en consistoriekamer. De gemeente was intussen overgegaan naar de Gereformeerde Bond in de Hervormde kerk en na de vorming van de Protestantse Kerk Nederland werd het een Gemeente in Hersteld Verband. Na de oorlog kon de gemeente haar eigen predikanten betalen en was daarvoor niet meer afhankelijk van de kasteelbewoners.