Diecéznu knižnicu v Nitre založil biskup Augustín Roškováni. Jej priamou predchodkyňou bola knižnica, ktorú zriadil biskup Ladislav Adam Erdödy začiatkom 18. storočia vo veži Nitrianskeho hradu. Postupom času už dve miestnosti nestačili na úschovu pribúdajúcich kníh a tiež podmienky vo veži neboli vhodné. Biskup Roškováni sa preto rozhodol postaviť novú knižnicu.