19世纪70年代，耶路撒冷业已有了电报业、希伯来文印刷业、希伯来文报纸以及现代教育和研究，然而却没有图书馆。经犹太人多次酝酿后，1892年犹太国家与大学图书馆终于面世，这就是位于耶路撒冷由圣约之子会建立的米德拉希·阿瓦瓦内尔图书馆。该馆问世要归功于锡安运动及著名的波兰学者约瑟夫·沙赞诺维奇博士，沙赞诺维奇从1890年到耶路撒冷参观后，即执著于建立犹太国家图书馆，到死为止他将一切都贡献给了图书馆。他以馆为家，将自己私人藏书捐献给图书馆并收集图书，总计20,000卷。这部分藏书是图书馆头20年主要的收藏。

在第一次世界大战结束时，该图书馆有两项职能：犹太国家图书馆和耶路撒冷犹太人居民的公共图书馆。在其1920年被移交给创立希伯来大学的世界锡安联合会后，它仍然保存了这两项功能。1925年重新开馆时改为现在的名称，并增添了新功能。成为大学馆后，图书馆发展较快，首先是有了第一位专职的馆长胡戈·贝格曼博士，他移居巴勒斯坦之前是布拉格大学图书馆馆长。1933年该馆正式成为国家馆，隶属于耶路撒冷希伯来大学，比以色列建国还要早15年。国际联盟的托管政府要求当地的出版商缴送2本出版物给图书馆，这一法令后被以色列政府继承下来。

第二次世界大战、以色列建国和中东战争后，建设了新馆。以色列国内外捐款捐书的人很多，还从德国接收了大量犹太人的藏书，由于纳粹时期的迫害，这部分书已经成为无主财产。该馆开展馆际互借，并为国际图联成员。

图书馆出版《Kiryat Sefer》，报导有关以色列及犹太人的全部出版物、以及约旦和国外出版的有关以色列的书目，其中还有书评、书目研究及介绍馆藏的文章。另有期刊文献书目《犹太研究文章索引（Index of Articles on Jewish Studies）》。