و يقول المؤرخون: «انه حفر لنفسه قبرا، و كان في كل يوم ينزل فيه و يقرأ جزءا من القرآن الكريم فيه ثم يصعد، و قد توفي رحمه الله في آخر جمادي الاولي سنة خمس أو أربع و ثلاثمائة، و كان قد أخبر عن يوم وفاته، و قبره الشريف ببغداد، و يعرف عند البغداديين الشيخ الخلاني [1] .