Ермітаж братів Альбертіні на Калатувках був побудований святим братом Альбертом і його братами в 1902 році на місці, подарованому їм тодішнім власником Закопане, графом Владиславом Замойським. Монастир кілька разів розширювався братом Леоном, братом ангелом і братом Бонавентурою. Каплиця на честь Матері Божої Неустанної Допомоги була поставлена в 1926 р., а їй присвятити разом з цілим монастиря звершив єпископ Анатолій Новак.

17 września 1977 r. pożar strawił doszczętnie drewnianą zabudowę Pustelni. Kamień węgielny pod odbudowany klasztor został poświęcony przez Ojca Świętego Jana Pawła II w dniu 1 sierpnia 1980 r. w Castel Gandolfo, a wmurowany przez Metropolitę Krakowskiego Księdza Kardynała Franciszka Macharskiego w dniu 3 września 1983 r. Budowę Pustelni wraz z nową kaplicą pod wezwaniem św. Brata Alberta ukończono w 1984 r. Projekt obecnego klasztoru wykonali: mgr inż. arch. Danuta Kopkowicz i mgr inż. arch. Zbigniew Śliwiński.

Chrystus Ukrzyżowany znajdujący się w ołtarzu został ufundowany przez Ks. Kard. Franciszka Macharskiego i jest wzorowany na Krzyżu z klasztoru Ojców Cystersów w Krakowie-Mogile.

Domy pustelnicze zakładał Brat Albert, aby w ciszy odosobnienia bracia oddając się przede wszystkim modlitwie i kontemplacji rzeczy Bożych odnawiali ducha i siły nadszarpnięte w trudach posługi ludziom najuboższym. Święty Założyciel Zgromadzeń nakazywał swym braciom i siostrom, by liczba pustelni była dostateczna: "bo wtedy będzie ścisła karność i zakorzeni się prawdziwie życie zakonne w Zgromadzeniach z wielką chwałą Bożą, a po przytuliskach i innych domach będzie się we wszystkim dobrze działo. Jeżeli zaś domów pustelniczych zabraknie to nie będzie można nawet przytulisk dla ubogich urządzać, bo zabraknie wytrwałości, poświęcenia i sił do ich obsługi."

Od 1984 r. w Pustelni na Kalatówkach znajduje się również nowicjat naszego Zgromadzenia. Jest to dwuletni okres formacji dla braci przygotowujących się do złożenia pierwszej profesji zakonnej.