Rond het jaar 1473 wordt hij door de Hongaarse adel gevraagd om koning van Hongarije te worden, dit tegen de zin van de rechtmatige troonopvolger Mathias. Nadat hij met het Poolse leger naar Hongarije vertrok en tegenover de legermacht van Mathias kwam te staan, trok Casimir zich terug en zag de betrekkelijkheid van het aardse bestaan in. Hij nam afscheid van het wereldlijk leven en leidde een leven van gebed en boete. Het vooraf gesproken huwelijk met de dochter van keizer Frederik III wilde hij niet door laten gaan omdat hij de gelofte van kuisheid had afgelegd. Hij had een bijzondere verering voor de maagd Maria, de Moeder van God.
Op 4 maart 1484, slechts 25 jaar jong, stierf hij aan de gevolgen van de
pest en werd hij te Wilna in Litouwen begraven. Casimir is in Polen een
van de meest beminde heiligen. Hij is een voorbeeld van reinheid en jeugd
maar ook de patroon tegen de pest en andere besmettelijke ziekten. Paus
Leo X verklaarde hem in 1521 heilig.
Patroon
van: Polen, Litouwen, jeugd, Maltezer ridderorde