حافظ، خودش پیش‌بینی کرده بود که مزارش «زیارتگه رندان جهان خواهد بود» و چنین شد. مدفن او تقریباً از همان روز دفنش مشهور شد، و زیارت مقبره‌اش از همان وقت، جزء آداب و سنن شیرازیان و مسافران درآمد. تنها 10سال بعد از فوت حافظ، به دستور تیمور بر سر آرامگاه او عمارتی برپا شد که از شکل ظاهری آن جز گنبدی وسیع، چیز دیگری در کتاب‌ها ذکر نشده است. شاه اسماعیل صفوی، ابتدا دستور خراب کردن این بنا را داد، ولی چون شنید که حافظ شیعه بوده، خودش مزاری برای او ساخت. شاه‌عباس پیاده به زیارت مزار او رفت و آن را توسعه داد. نادرشاه به درویش‌های ساکن در این مزار مستمری می‌داد و کریم‌خان، نارنجستان مشهور امروزی را در کنار مزار حافظ ساخت و سنگ قبر نفیسی هم روی آرامگاه نهاد که تا امروز به جای مانده است. در دوره قاجار هم چندین‌بار بنای آرامگاه که دیگر «حافظیه» خوانده می‌شد، تغییر کرد و هر امیری چیزی به آن افزود. یک‌بار هم مظفرالدین‌شاه هزارتومان برای ساخت بنایی جدید صرف کرد. این بنا برجا بود تا در سال1316، انجمن مفاخر ملی ایران، آرامگاه امروزی را ساخت.
آورده‌اند که حافظ، جوانی بود یتیم و فقیر که در دکان نانوایی کار می‌کرد. با این حال، علاقه‌ای به محافل و مجالس شعر و ادب داشت. یک‌بار در یکی از این محافل، شعری خواند که موجب تفریح و مسخره حضار شد. شکسته‌دل به زیارت باباکوهی که هنوز هم مزارش در حاشیه شیراز، زیارتگاهی معروف است، رفت. شب همان جا خوابش برد. در خواب، امام علی(ع) به او چیزی تعلیم داد که وقتی بیدار شد، حس شعرش شکوفا شده بود. در همان جا سرود: «دوش وقت سحر از غصه نجاتم دادند/ واندر آن ظلمت شب آب حیاتم دادند...»
گفته‌اند که زمانی شاه‌نعمت‌الله‌ولی سروده بود:«ما خاک راه را به‌نظر کیمیا کنیم/ صد درد را به گوشه چشمی دوا کنیم» حافظ جواب فرستاد:«آنان که خاک را به‌نظر کیمیا کنند/ آیا شود که گوشه چشمی به ما کنند؟!»
آورده‌اند که وقتی تیمورلنگ به شیراز آمد، همه بزرگان شهر برای خوشامد به دیدارش رفتند. امیر تیمور، حافظ را خواست. مردی شکسته و درویش را نشانش دادند. رو به حافظ کرد و گفت:«فقیر! من به ضرب شمشیر، اکثر ربع مسکون را تسخیر کردم و هزاران ولایت را ویران کردم، تا مگر بخارا و سمرقند که وطن مألوف و تختگاه من است، آبادان گردد. آنگاه تو درویش به خال هندوی ترک شیرازی خویش، سمرقند و بخارای ما را می‌بخشی و می‌گویی: اگر آن ترک شیرازی به‌دست آرد دل ما را / به خال هندویش بخشم سمرقند و بخارا را؟!» خواجه بلافاصله جواب داد: «از همین بخشندگی‌هاست که به این فقر افتاده‌ام.»
آورده‌اند که بعد از فوت حافظ، بعضی اهل روی و ریا در باب اعتقاد و ایمان او شک وارد کرده و می‌خواستند مانع از برگزاری مراسم تدفین او شوند. بحث بالا گرفت. یکی پیشنهاد داد که از اشعار خود حافظ، تفالی بزنند تا معلوم شود سخن خود او در این میانه چیست. چنین کردند. این بیت آمد:«قدم دریغ مدار از جنازه حافظ / که گرچه غرق گناه است، می‌رود به بهشت!» می‌گویند این نخستین فال از دیوان حافظ است.
آرامگاه حافظ از همان ابتدا مورد توجه بوده است. نادرشاه افشار چندبار پیاده به زیارت او رفت و شاهان صفویه و قاجار به عمران آن اهمیت می‌دادند. حکایت معروفی وجود دارد که وقتی شاه اسماعیل صفوی کل ایران را به تصرف خود درآورد، اطرافیانش به بهانه اینکه حافظ سنی بوده، او را تشویق به خراب کردن این بنا می‌کردند. شاه‌اسماعیل خودش راضی به این کار نبود. قرار شد تفال به دیوان خود حافظ بزنند. یکی از مخالفان حافظ کتاب را باز کرد. جواب آمد:«ای مگس عرصه سیمرغ نه جولانگه توست». شاه خندید و اعتقادش به حافظ بیشتر شد.