Halil Rahmi Efendi’nin mezarı bugün Kanuni Sultan Süleyman Câmi önündeki türbededir. Halîl Rahmi Efendi, Halvetî terbiyesini önce Bolu merkezde Aktaş Dergâhında Mustafa Safî-i Amedî Bolevi Hazretleri’nden daha sonra onun ölümü üzerine ise halifesi olan Geredeli Abdullah Efendi’den almıştır. Geredeli Abdullah Efendi bir müddet eğitimine devam ettiği Mudurnulu Halil Rahmi Efendi’ye hilafet tacı giydirip kendisini Mudurnu’ya gönderdi.

Halil Rahmi Efendi memleketi olan Mudurnu’ya geldikten sonra Kanuni Sultan Süleyman Camii yanında irşada başlamıştır. Halîl Rahmi Efendi kaynaklarda tasavvufi hakikatlere aşina bir zât olarak anlatılmaktadır. Aynı zamanda halim, selim ve tam bir teslimiyet sahibidir. Halil Rahmi Efendi, Mudurnu’da tıpkı hocaları gibi Halvetîyye yolunu devam ettirmiştir. Halîl Rahmi Efendi ömrü oldukça dünya işlerinden hiçbir şeye karışmayıp, kendini tamamen ahiret vermiştir. Öyle ki; kendisiyle dünya işlerinden dahi istişare olunsa zahiren münasip cevaplar verip sonrasında susardı. İhtiyaç kadar konuşurdu.

Halil Rahmi Efendi 1854 yılında Rusya Osmanlı Devleti’ne harp ilan ettiğinde, sefere katılmış, hayli gazada bulunmuştur. Hatta Silistre Muhasarasında da bulunmakla birlikte daha sonra Deliorman diye bilinen bir mahalde bir müddet kaybolmuştur. Halîl Rahmi Efendi, ömrü müddetince hocası olan Geredeli Abdullah Efendi’yi ve onun da hocası bulunan Mustafa Safi Ahmet Bolevi Hazretleri’ni hep takip etmiştir. Birçok talebe yetiştirmekle birlikte, kendisinden sonra da beş tane halife bırakmıştır. Bırakmış olduğu bu halifeler, yine halifelerinden olan Derviş İbrahim Hilmi tarafından bir eser haline getirilmiş ve hayatları da anlatılmıştır. Hocası Bolevi Hazretleri’nin vefa sonrasında talebelerinden bir çoğu da Halil Rahmi Efendi’ye tabi olmuşlardır.

1867 senesinde Mudurnu’da vefat etmiş ve başta da belirttiğimiz gibi burada bulunan Kanuni Sultan Süleyman Camii yanında bulanan kabristanlığa defnedilmiştir.