På håll ser Fyrstensberget ut som en anspråkslös kulle beväxt med sly. Men följer man den lilla grusvägen ner till strandkanten upptäcker man att kullen slutar abrupt i en tio meter hög strandklint ner mot vattnet. De blottade kalkstenslager man ser här skapades under den geologiska period som kallas mellersta ordovicium, för 458-470 miljoner år sedan.

Fångade i kalkstenen ligger fossiler efter det utdöda tagghudingen Echinosphaerites Grandes som tillhörde Cystoidèerna. De levde i stora grupper på havsbottnen och såg ut som en boll på en stjälk som satt fast i bottnen. På toppen av bollen hade de små armar som de fångade smådjur i vattnet med. I fossil form ser de ut som runda stenar som inuti är fyllda av vita kalcitkristaller. Carl von Linné kallade dem därför för kristalläpplen och benämningen har levt kvar till våra dagar. Fyrstensberget innehåller en mycket ovanlig koncentration av kristalläpplen som annars bara hittats på Öland samt vid en lokal i Västergötland.

Går man strandlinjen utmed Fyrstensberget och tittar ner så tar det inte lång tid innan man ser något glittra till. Då har man troligtvis hittat en sten som innehåller ett kristalläpple i trasig form. Hela fossiler ser ut som runda stenar och är mycker svårare att upptäcka.

Namnet Fyrstensberget har en om inte ännu märkligare historia. Kalklagren gömmer inte bara fossiler utan även klumpar av svavelkis, eller pyrit, som genom historien använts för att göra upp eld. Trots att de är ovanliga har arkeologer hittat dem vid stenåldersplatsen Alvastra pålbyggnad, och kanske kommer de just från berget här vid udden. Att hitta pyritstenar, eller fyrstenar, är däremot få förunnat.

Fyrstensberget ligger på privat mark. Att plocka fossiler och sten är generellt sett olagligt. Att plocka en enstaka kan i vissa fall falla inom allemansrätten, men det är alltid bäst att först fråga markägaren om lov. Det är däremot alltid olagligt att gräva efter dem och förutom stöld kan man då bli dömd till att betala ersättning för den skada som anses ha uppkommit.

Fyrstensberget ligger utmed Sveriges vackraste grusväg mellan Rogslösa och Örberga.