Al damunt de la parròquia de Sant Martí de Centelles, en un cim de 855 metres d'alçada que es desprèn de la costa de Sant Martí i que s'aixeca uns 200 metres de la seva base, es troben les restes d'aquesta antiga edificació, que engloba el Castell de Centelles pròpiament dit i Santa Maria del Castell, la seva església, va ser el centre de la primitiva baronia de Centelles.
El conjunt, originalment anomenat de Sant Esteve, ja és conegut des de l'any 898 en l'acta de consagració de Sant Martí del Congost (Aiguafreda de Dalt). Ja el 1041 apareix documentat Guadall I de Centelles, que prengué el nom de la parròquia situada als peus del castell, on residia la família, que va servir a les empreses dels reis catalans mitjançant les armes. El primer senyor documentat del Castell de Centelles fou Bernat II de Centelles, l'any 1242.
Al segle XIII va canviar la titularitat de l'església de Sant Esteve a Santa Maria. Els Centelles van fundar-hi una comunitat que va seguir la regla de Sant Agustí, que va començar a minvar quan els Centelles marxaren del castell.
Al segle XV una part del castell fou enderrocada pels partidaris de Joan II, però entre els anys 1465 i 1466 es va reparar per acondicionar-lo com a residència del rei Pere IV (el Conestable de Portugal), treballant-hi destacats artistes de Barcelona que també es dedicaven al Palau Reial. Als nostres dies ha arribat l'escut de Bonfill de Judice, que dominà el castell entre 1469 i 1472. El Conestable no hi arribà a residir per la seva prematura mort. Al 1472, els Centelles recuperaren el domini del Castell.
Al segle XVI els Centelles deixaren de viure al castell per traslladar-se a Santa Coloma de Vinyoles (la Centelles actual), on bastiren el seu palau. El castell, tot i començar la seva decadència, va continuar habitat per beneficiats i guardians. Al 1599, el rei espanyol Felip III va crear el comtat de Centelles. Al segle XIX, durant les guerres carlines, un escamot va volar-li les parets, fet que en precipità l'abandonament. L'església va seguir tenint culte fins al 1897, quan les restes dels avantpassats dels Centelles i la imatge de la Mare de Déu del Castell foren traslladats a una capella-panteó acabada d'edificar al costat de la parròquia de Sant Martí, quedant el lloc definitivament abandonat.
Als nostres dies han arribat un seguit de murs emmerlats amb un portal adovellat d'entrada i la capella de Santa Maria força sencera. La planta del castell s'adapta a la topografia del cim, on el recinte jussà correspon a l'antiga casa senyorial, el monestir canonical i altres dependències, mentre que les restes més antigues corresponen al recinte sobirà. La capella consta d'una nau coberta amb volta de canó i absis carrat més estret que la nau. La porta, de punt rodó, es troba al mur del costat sud, que també té un campanar doble de cadireta.