Nazwę „Kadzielnia” wyprowadzano od „kadzidła, kadzenia”, co stało się podstawą daleko idących, niepotwierdzonych jak dotąd hipotez o istnieniu ośrodka pogańskiego kultu w miejscu obecnego rezerwatu. W XVII lub XVIII w. rozpoczęto na Kadzielni wydobywanie wapienia dewońskiego, a w 1770 r. poświadczona była budowa wapiennika, podjęta z inicjatywy biskupa krakowskiego Kajetana Sołtyka. Eksploatację wapienia ostatecznie zamknięto w 1962 r. Wtedy też powstał w centralnej części kamieniołomu ścisły rezerwat przyrody nieożywionej, obejmujący wapienny ostaniec zwany Skałką Geologów. Pozostałą część zagospodarowano jako teren rekreacyjno-wypoczynkowy i park krajobrazowy. W 1971 r. otwarto amfiteatr, który przebudowano i unowocześniono w 2010 r. Zabezpieczono też i udostępniono dla ruchu turystycznego kilku jaskiń w głębi wschodniej ściany dawnego kamieniołomu; podziemną trasę otwarto ostatecznie w 2012 r.

Kadzielnia jest jednym z kilku unikatowych kamieniołomów na terenie miasta. Z pozostałych warto odwiedzić dawne kamieniołomy Wietrznia (gdzie znajduje się główna siedziba Geoparku Kielce, z unikatową ekspozycją geologiczno-przyrodniczą) oraz Ślichowice.