Annisse kirkes ældste dele kan føres tilbage til tiden omkring 1080. Kirken er en tidlig romansk kampestensbygning.
Borgen, som lå ude på Hovgårdsnæsset, oprindeligt opført i 1200-tallet af Valdemar Sejr, blev i sidste halvdel af 1600-tallet udlagt til præstejord, og bygningerne blev revet ned. Den sidste ejer af gården, Ane Villumsdatter, bestemte, at der efter hendes død, skulle opføres et tårn ved Annisse kirke af hovedbygningens sten. På tårnets vestside ses i dag hendes initialer A. V. D. forankret i jern. Efter reformationen blev kirken anneks til Ramløse kirke med Annissegård som anneksgård.
Christian den 5.s initialer samt bogstaverne O. K. for Otto Krabbe og H. B. for Henrik Bornemann stammer fra ombygningen i 1699.
Et sagn fortæller, at kirken oprindelig skulle have ligget på Tomsebakken lidt syd for den nuværende kirkegård, men byggeriet blev forstyrret af trolde og måtte flyttes.
Den sidste restaurering af kirken blev udført i 1967 under ledelse af arkitekt Jan Gehl.
Man formoder at der tidligere har været en vikingegravplads på den nuværende kirkes grund, da man under restaureringen fandt flere lag knoglerester ude under tårnets grundsten.