那些只是不赞同，不习惯，不喜欢，不感兴趣于变化和改革的大多数老百姓，未必由于触犯了什么利益，也未必有不共戴天之仇，所表现出来的冷淡、冷漠、冷落的心理，也足以让何心隐不寒自栗。更何况脑袋已成死面疙瘩、有些地位、有些名气、有些赀财、有些权势的大多数有产者，由于利益而结合起来的反对派队伍，在抵制新生事物时的异乎寻常的抱团，和王八吃秤铊铁了心的死硬，才是何心隐和中国历代改革者和改良主义者面前一道难以逾越的墙。
聚和堂的成立，当在何心隐放弃科举的公元1546年；被解散，当在公元1559年，约存活十年左右时间。最后，由于拒交邑令勒收的“皇木银两”额外之捐，由于进行抗税斗争出了恶性事故，几名乡人死于械斗，地方官趁机将人命案扣在何心隐头上，抓捕，判绞刑。后来，经人营救，才改为发配充军。从此，他的一生，浪迹天涯，在追杀和逃亡的捉迷藏中度过。据王之垣《历仕录》，“各省历年访拿不获，具有卷录”，基本上过着亡命生活，达二十年，一直到被捕，处死。