بعد ثمانية عشر عاماً تصدى خلالها للإمامة الإسلامية، استجاب لنداء ربه الحق، فلبَّاه راضياً مرضياً، وقد قضى من عمره المبارك سبعاً وخمسين ربيعاً.

في غرة رجب من عام 114 للهجرة كان أهل بيته يَحفُّون به وكان السُّمُّ الذي دُسَّ إليه من خلال سرج امتطاه قد انتشر في جسده، فالتفت إلى نجله ووصيه الإمام الصادق عليه السلام وقال:

«يَا بُنَيَّ أَمَا سَمِعْتَ عَلِيَّ بْنَ الحُسَيْنِ نَادَانِي مِنْ وَرَاءِ الجُدُرِ أَنْ يَا مُحَمَّدُ تَعَالَ عَجِّل، وقَالَ: يَا بُنَيَّ هَذِهِ اللَّيْلَةُ وُعِدْتُهَا. وَقَدْ كَانَ وَضُوؤُهُ قَرِيباً قَالَ: أَرِيقُوهُ أَرِيقُوهُ. فَظَنَنَّا أَنَّهُ يَقُولُ مِنَ الْحُمَّى، فَقَالَ: يَا بُنَيَّ أَرِقْهُ. فَأَرَقْنَاهُ فَإِذَا فِيهِ فَأْرَة».

وأوصى ابنه الإمام جعفر بن محمد بأن يُكفِّنه في ثلاثة أثواب، أحدها رداء له، جده كان يصلي فيه يوم الجمعة، وثوب آخر وقميص. وأوصى أن يشق له القبر شقاً، وأضاف: فَإِنْ قِيلَ لَكُمْ إِنَّ رَسُولَ اللهِ صلى الله عليه واله لُحِدَ لَهُ فَقَدْ صَدَقُوا.

وأوصى أن يُرفع أربع أصابع، وأن يُرشَّ بالماء، وأن يُوقف من أمواله قدراً لكي تندبه النوادب بمنى عشر سنين أيام المنى.

ولما تُوفِّيَ ضجَّت المدينة المنورة. ويروى عن الإمام الصادق عليه السلام: