Visingsö har varit strategiskt viktigt så länge det funnits människor i området. Under 1100- och 1200-talen var ön centrum för den svenska kungamakten med slottet Näs på öns södra udde. Senare kom Visingsborgs slott på öns östra strand att bli säte för Braheätten.

Visingsborg började byggas på 1570-talet av sten från ruinen av Alvastra kloster och ett nytt tegelbruk i Gränna. När slottet till slut stod färdigt nästan hundra år senare var det en mäktig byggnad med fyra torn med förgyllda spiror och en vallgrav.

Grevskapet Visingsborg omfattade som mest 468 hemman på både på ön och på fastlandet i Småland och Västergötland. När grevskapet drogs in till kronan 1680 övergavs slottet och kom istället att användas som fångkoloni av Karl XII under stora nordiska kriget. En rest av den epoken hittar man strax västerut i form av den så kallade Rysskyrkogården.

När slottet 1718 drabbades av en förödande brand var slottets epok över och dagens slottsruin är vad som återstår av murarna från den södra slottsändan.

Ruinen är utan tvekan Visingsös största sevärdhet vilket tyvärr också medfört ett ohållbart slitage. Numera är det inte längre möjligt att gå in i ruinen och till på det har ägaren SFV spärrat av direkt farliga delar av området.