Ketika Nabi Ibrahim a.s bersama anaknya membina Kaabah banyak kekurangan yang dialaminya. Pada mulanya Kaabah itu tidak ada bumbung dan pintu masuk. Nabi Ibrahim a.s bersama Nabi Ismail bertungkus kumus untuk menjayakan pembinaannya dengan mengangkut batu dari berbagai gunung.
Dalam sebuah kisah disebutkan apabila pembinaan Kaabah itu selesai, ternyata Nabi Ibrahim masih merasakan kekurangan sebuah batu lagi untuk diletakkan di Kaabah.
Nabi Ibrahim berkata Nabi Ismail berkata, "Pergilah engkau mencari sebuah batu yang akan aku letakkan sebagai penanda bagi manusia."
