ولم يكن ابن حزم في نقاشه ومحاوراته هادئاً ليّناً، قال ابن حجر العسقلاني: ولم يكن يلطف في صدعه بما عنده بتعريض ولا تدريج، بل يصك معارضاً صك الجندل، وينسفه في أنفه إنساف الخردل. فتمالا عليه فقهاء عصره، وأجمعوا على تضليله، وشنّعوا عليه، وحذّروا أكابرهم من قبيله، ونهوا عوامهم عن الاقتراب منه. فطفقوا يعصونه وهو مصر على طريقته، حتى كمل له من تصانيفه وقر بعير، لم يتجاوز أكثرها بابه; لزهد العلماء فيها.

وفي مكان آخر من كتابه قال ابن حجر: تعصّب عليه فقهاء المالكية باُمراء تلك الديار، فمقتوه وآذوه وطردوه وحرقوا كتبه علانية.

ونتيجة لذلك كلّه هاجر ابن حزم إلى بادية لَبْلَة من بلاد لاندلس وتوفي فيها سنة456هـ.

ومما يؤآخذ به ابن حزم أيضاً اعتقاده في أحقيّة عدالة دولة بني أُميّة:

قال أبن حجر: وممّا يزيد في بغض الناس له اعتقاده بصحة إمامتهم ـ بني أُميّة ـ حتى نُسب إلى النصب.

وقال التلمساني في (نفح الطيب): قال ابن حزم: إنّ دولة بني