ترجع قصة هذا المثل إلى شخصية جحا وهو من أشهر الشخصيات التي تم ذكرها في كتب التراث العربي القديم وكان يمتلك بيت ونظرًا لفقره أراد في يوم من الايام أن يبيع ذلك البيت والذي كان لا يملك سواه  ليأتي إليه أحدهم لشرائه وبالفعل قام جحا بقبض ثمن المنزل من الرجل ولكنه طلب منه أن يدق مسمار في أحد جدران المنزل، فوافق الرجل رغم اندهاشه وعدم معرفته بالسبب الذي دفعه لفعل ذلك.

ليتفاجأ الرجل في اليوم التالي بمجيء جحا ففتح له الباب وبسؤال جحا عن سبب الزيارة قال إنه جاء كي يطمئن على المسمار فتعجب الرجل ولكنه وافق بأن يطمئن جحا على المسمار؛ ليتكرر هذا الأمر عدة أيام حيث كان جحا يذهب إليه وقت تناول الرجل للطعام ومن ثم يعزم عليه الرجل كي يأكل، وبالفعل كان جحا يُقدم على تناول الطعام، حتى جاء يوم وظل فيه جحا لوقت متأخر من الليل بل وقد افترش الأرض وهنا سأله الرجل لماذا يفعل ذلك، فجاءت إجابة جحا صادمة للرجل؛ حيث قال له: "أود أن أحرس المسمار أثناء الليل وأنام في ظله" وبعد أن تركه الرجل يفعل ما يشاء، جاء في اليوم التالي وعزم على ترك المنزل لجحا لكونه لا يجد راحته فيه بسبب زيارات جحا المستمرة له ومكوثه في المنزل كما لو كان فردًا من أفراد العائلة، وحينما سأل الناس الرجل عن سبب تركه للمنزل قال "مسمار جحا".. وهنا صارت تلك الجملة مثلًا نستعمله حتى اليوم.