Denizli’ye 1672 yılında gelen Evliya Çelebi’nin “Seyahatname” isimli eserinde, Sarayköy’de bulunan Uzunca Hayrettin Türbesi ve Karaca Ahmet Türbesi’nin de adı geçmektedir. Yaşadığı dönemde ya çok sevilen bir kişiydi ya da aynı isime sahip birçok kişi vardı. Bir çok şehirde bu isimde türbe olmasını bunu göstermektedir.

Tekke ve Zaviye Kanunu çıktığında yetkililer, türbe kapısının kilitlenmesini istemiş. Bölgeye gelen jandarma görevlileri kapıyı kilitlemiş ama kapı gece tekrar açılmış. Bu birkaç gün sürmüş. Duruma sinirlenen komutan, kapıyı kimin açtığını öğrenmek için türbede nöbetçi askerler görevlendirmiş. Bir gece askerler nöbette iken, kilitli olan kapı açılmış, içeriden elinde gemici feneri ile beyaz sakallı, iri yarı birisi çıkmış. Askerler korkularından ses çıkarmadan onu izlemiş. Gemici feneri ile çıkan kişi, abdest alıp tekrar türbenin içine girmiş. Askerler de içeri giren kişinin kim olduğunu öğrenmek için türbe binası girmiş, fakat kimseyi bulamamış. Hayatı hakkında yeterli bilgi bulunamayan Karacaahmed Sultan, Evliya Çelebi’ye göre Horasan Alperenlerinden olup, Selçukluların Bizanslılarla yaptığı savaşlardan birinde şehit olmuştur.