Das älteste historische architektonische Denkmal, das der Schmuck der Stadt ist, ist die steinerne Burg aus dem Ende des 13. Jahrhunderts. Wann sie gebaut wurde, beweisen keine Archivdokumente. Wir wissen nur, dass für den Bau eine strategisch gut geschützte Stelle am Ende des Ausläufers der Berge Štiavnické pohorie ausgewählt wurde. Von der Burg aus war eine ausgezeichnete Aussicht auf die breite Umgebung, und das Sumpfgebiet verschlechterte den Zugang zur Burg. Der erste bekannte Inhaber der Levicer Burg war Matúš Čák Trenčiansky. Aus dem Jahr 1318 stammt der erste schriftliche Bericht über ihre Existenz, in dem Comes Jula aus Topoľčianky als Kastellan und Anhänger von Matúš Čák erwähnt wurde.Nach seinem Tod im Jahr 1321 wurde die Burg königliches Eigentum. Der König Karl Robert, der vom 21. bis zum 29. August 1321 auch selbst auf der Burg verweilte, schenkte die Levicer Burg und die Herrschaft seiner Frau Elisabeth. Mit der Verwaltung der Burg wurde Imrich Bechei beantragt, der zugleich zum Tekover Verwalter wurde. Unter die immer stärkere Burg beginnen die Einwohner der in der Nähe liegenden Dörfer zu ziehen und so im 14. Jahrhundert entstanden die Ortschaften Neues und Großes Levice, die zur Burg gehörten. Ihre wachsende Bedeutung beweist, dass der König Ludwig I. der Große hier die sog. Palatinsitzungen für die Lösung verschiedener Probleme zusammenrief. Im Jahr 1388 schenkte der König Zigmund von Luxemburg die Burg mit der Burgherrschaft dem Ladislav aus Šárovce, dessen Sohn Peter schon den Namen Lévai Levický, später Čech benutzte. Er hatte mehrere Positionen am königlichen Hofe und kämpfte gegen Hussiten. Die Levicer Burg gehörte ihrem Geschlecht anderthalb Jahrhunderte. Der letzte von ihnen Ján starb im Jahr 1553 ohne Nachfolger und so wurde die Burg wieder zum königlichen Eigentum. Aus dem Jahr 1434 stammt der Bericht über das Feuer, bei dem das Archivmaterial und die Privilegdokumente von Junkern vernichtet wurden. Im 16. Jahrhundert wurde die Levicer Burg zum Schauplatz häufiger Kämpfe gegen Türken. Im Jahr 1543 wurde die Burg zu einer der 15 Festungen gegen die Türken. Die Türken versuchten sie zum ersten Mal im Jahr 1544 zu erobern, aber dieser Angriff wurde abgeschlagen. Sie wurden aus der Stadt vertrieben durch das Tor (heute gegenüber der Mühle), später nach Melicher Balassa benannt, der in der Zeit die Burggarnison führte. Im Jahr 1560 wurde zum Inhaber der Burg und der Burgherrschaft der Jagerheld Štefan Dobó, der das Burgareal und das befestigte Renaissancekastell erweiterte. Diesen großartigen Bau beendete sein Sohn František. Nach seinem Tod wurde zum Inhaber Sigfrid Kolonich (der Ehemann von Žofia, der Tochter von František Dobó), der einen großen Teil seines Eigentums der Reparatur der Burg und Finanzierung der Burggarnison widmete. Damit machte er so große Schulden, dass niemand war, der ihn begrub und so auch seine Schulden auf sich selbst nahm. Seine Leiche war lange Jahre unbegraben, erst im Jahr 1638 auf Befehl von König Ferdinand III. wurde geheim ohne Pfarrer in der St. Michaelkirche in Levice neben seiner Frau begraben. Die immer stärkere türkische Gefahr war der Grund für die Renovierung der Burg. In 1635 wurde sie nach italienischem Fortifikationssystem erneut, die Wassergraben mit Wasser gefüllt, Basteien für Kanonen und Fallbrücke gebaut. In den 60-er Jahren des 17. Jahrhunderts wurden die türkischen Kämpfe stärker und die türkischen Angriffe folgten auf die Burg und die beiliegenden Dörfer. Am 2. November 1663 der Vizekapitän Gašpar Bartakovits gab die Burg den Türken ohne Kampf aus. Zum Kapitän der Burg wurde Čatra Patra Ali Pascha.Wie die Burg in dieser Zeit aussah, erfahren wir aus der Beschreibung des türkischen Reisenders Evliy Čelebi: „ Die Levicer Burg ist ein Bau, den man sehen muss. Das Innere der Burg ist klein. Der steinerne Bau in viereckiger Form hat um herum sechs kleine Türmchen. Drinnen ist das Haus des Kapitäns, Waffenkammer und die Speicher. Andere Bauten gibt es da nicht. Sie hat ein kleines Tor in die östliche Richtung. Der Wassergraben der inneren Burg ist mit Wasser aus dem Fluss Hron gefüllt und ist sumpfig.“ Die Türken verweilten auf der Burg kaum ein Jahr. Die kaiserlichen Truppen unter der Führung von General Souches eroberten die Stadt am 13. Juni 1664. Die Türken kapitulierten und verließen die Stadt und die Burg nach unterschriebenem Vertrag. Diesen Verlust ertrugen die Türken sehr schwer und schikten eine Armee für die Eroberung der Festung. Zur entscheidender Schlacht kam es am 19. Juli 1664. In schweren Kämpfen wurden die Türken besiegt. Im Kampf fiel auch Štefan Koháry, Kapitän von ungarischen Truppen. Das letzte bedeutende Kapitel in der Geschichte dieser wichtigen militärischen Festung waren die Jahre der ständischen Aufstandes von František Rákoczi gegen die Habsburger. Unter der Führung von Ladislav Ocskay besetzten die Kuruztruppen am 17. September 1704 die Levicer Burg, die Rákoczi für einen wichtigen strategischen Platz hielt. Am 3. Januar 1704 fand eine militärische Beratung auf der Levicer Burg statt, an der auch Rákoczi teilnahm. Bei den Kämpfen des ständischen Aufstandes siegten einmal die kaiserlichen Labanzen, einmal die Kuruztruppe. Im November 1708 besetzte Ján Bottyán die Burg, der öffentlich auf die Seite von Rákoczi überging. Die Burg war schon damals in einem sehr schlechten Zustand. Ján Bottyán hat nicht genügend Leute für die Zusammenstellung von der Burggarnison, deshalb ließ er die Burg Ende Februar 1709 zerstören. Die Festung wurde verbrannt, der Pulverturm gesprengt, der Wassergraben und die Burgbrunnen wurden zugeschüttet und so verlor die Burg ihre Bedeutung der Militärfestung. Sie wurde nie wieder erneut und ihre Ruinen beweisen nur über die weite Vergangenheit. Der erhaltene Teil des Burgareals, das Dobokastell und das Kapitängebäude dienten weiter den nächsten Eigentümern der Levicer Burg und Herrschaft. In Jahren 1688 bis 1867 War sie im Besitz von Familie Esterházy. Von ihnen gewannen das Gut die Wienerischen Banker, Gebrüder Schoeller. Ihrer Familie gehörte die Levicer Burg und Burgherrschaft bis zum Ende des II. Weltkriegs.