হজরত ইসমাঈল আলাইহিস সালাম-এর যুগের পর কালের প্রবাহে জমজম কূপকে ঘিরে বহু পরিবর্তন, সংস্কার ও বিবর্তন ঘটে। কোনো জনপদ ধ্বংস হয়েছে, আবার তার স্থানে গড়ে উঠেছে নতুন জনপদ। এভাবেই একসময় জমজম কূপটি মানুষের দৃষ্টির আড়ালে চলে যায়। মরুভূমির প্রবল বালুঝড়েও কূপটি বালুর স্তূপে চাপা পড়ে থাকতে পারে—এমন সম্ভাবনাও উড়িয়ে দেওয়া যায় না।
আল্লামা ইয়াকূত হামাভী তাঁর মু’জামুল বুলদান গ্রন্থে উল্লেখ করেছেন, দীর্ঘদিন অবহেলিত থাকার ফলে জমজম কূপের পানিপ্রবাহ বন্ধ হয়ে যায় এবং একসময় এর অবস্থানের চিহ্নও বিলুপ্ত হয়ে যায়। ঐতিহাসিকদের একটি মত হলো, দীর্ঘদিন মক্কার কর্তৃত্বে থাকা জুরহুম গোত্র মক্কা ত্যাগ করার সময় ইচ্ছাকৃতভাবে কূপটি মাটি দিয়ে ভরাট করে দেয়। এ কাজে নেতৃত্ব দেন তাদের নেতা মুযায ইবনে জুরহুম। ফলে বহু বছর ধরে জমজম কূপের সঠিক অবস্থান মানুষের অজানাই থেকে যায়।
হজরত মুহাম্মাদ সাল্লাল্লাহু আলাইহি ওয়া সাল্লামের দাদা আবদুল মুত্তালিবের পূর্ব পর্যন্ত কেউ জমজম কূপ পুনরুদ্ধারে সফল হয়েছেন বলে জানা যায় না। তবে এটিও বলা হয় যে, মহান আল্লাহ তাঁর অসীম প্রজ্ঞায় জমজম কূপ পুনরাবিষ্কারের সময়কে হজরত মুহাম্মাদ সাল্লাল্লাহু আলাইহি ওয়া সাল্লামের আবির্ভাবের পূর্বমুহূর্ত পর্যন্ত নির