اما میرزا حبیب الله افنان از فامیلان و بستگان علی محمد شیرازی وقتی از خاطراتش در مورد علی محمد شیرازی می گوید، از دوران کودکی و از مکانی که در شیراز به این خاندان نسبت دارد مواردی را نقل می کند تا به مسئله تحصیل علی محمد شیرازی نیز تصریح می کند.

میرزا حبیب الله افنان در کتاب خاطرات خود صفحه 184 سطر 26 می نویسد: « از اماکن امری دیگر در شهر شیراز قهوه اولیاء و حمام بازار مرغ است که قهوه اولیاء محل تحصیل و مکتب خانه حضرت باب به اسم بیت العباس تغییر شکل داد و حمام بازار مرغ خراب و از میان رفت».

همانطور که ملاحظه می کنید جناب میرزا حبیب الله افنان که نوه خواهر خدیجه خانم همسر علی محمد شیرازی است، تصریح می کند که شوهر خاله پدرم (یعنی علی محمد شیرازی) در کودکی در محله قهوه اولیاء به تحصیل مشغول بود.

جهت اطلاع کاربران توضیح اینکه کتاب " خاطرات میرزا حبیب الله افنان ، از تشرف به حضور حضرت بهاءالله و حضرت عبدالبها  " به کوشش مریم افنان ( ربانی ) که به نظر میرسد از نزدیکان رهبران فرقه بهائیه بوده است توسط موسسه مطبوعات بهائی آلمان ( لجنه نشر آثار امری به لسان فارسی و عربی) برای نخستین بار در سال 2011 بچاپ رسیده است.

درکتاب خاطرات میرزا حبیب الله افنان، صفحه 184 سطر 26 میخوانیم : 

سوال این است با توجه به همه اسنادی که از منابع بهائیان و مورخین مرتبط با آنها در مورد تحصیل سواد توسط علی محمد باب بدست آمده چرا مبلغین میخواهند القاء کنند که او علم ... داشته است ؟ مگر نه این است که مبلغین با توسل به این ادعای دروغین قصد دارند جناب علی محمد را در ردیف پیامبران الهی معرفی نمایند . شما  در اینمورد چه نظری دارید ؟