在张武店村的日子里，霍清廉与比他大20多岁的老书记杨希同一见如故，成了忘年交。杨书记是土生土长的张武店村人，干了20多年的村支书，在村里有极高的威信，对农村发展进行积极探索。杨书记认为现在村干部文化程度太低，基本是大老粗，能领着劳动力干活就行了，难以适应现在农村的发展建设。农村需要有文化，有知识的人，来把农村干部队伍的素质提高。这时，霍清廉已经着手研究三农问题，他跑了好几个农村，研究三农问题，张武店村是人力资源、党的政策、土地结合的产物。霍清廉也觉得杨书记人可处，事可做，就下了决心去。
1996年3月霍清廉辞去公职到卫辉张武店村落户。1997年3月被推选为村委会主任。1999任村党支部书记。对霍清廉的选择，许多人持怀疑的态度，感到不可思议，说他是想出风头，更有人直接问他，到农村来镀金还是来淘金的。霍清廉自己说：我觉得很正常，有感情做基础，又读过书，想做学问这几个问题聚在一起，怎么不是霍清廉呢?有人说我神经病，包括我爱人说我人得务实，人总是要吃饭的我又觉得自身经济基础不足，但更重要的是社会各界对我的关注，大家都走了，就剩下我一个，我就更不能退却。
霍清廉的农村生活
自张武店建村以来，共有9位村支书，其中学历最高的是大专生，最低的是小学文化程度，在大部分村民眼里，拥有高中文化程度就算是个文化人。
霍清廉，一个硕士村官，他与村民的距离可想而知。因为不是张武店村人，他还不能完全融入到这个“熟人社会”里。至今，霍清廉只与村里的1/3打过交道。在他2000年4月29号的日记中写到，作为一名外来村干部非常难，一是人们有一个壁的意识，根深蒂固的壁的意识，我个人也有这种壁意识，为什么呢，跟他们相处或事，总有一种不好下手的感觉。
霍清廉在用时间和耐心等待村民的理解和支持的同时，他的内心也在受着煎熬。其一是村里人对他报着极大的期望，盼着他找资金、拉项目，尽快把村里建设好。其二是家庭的不理解，妻子希望过正常的家庭生活，有一份安定的工作。可霍清廉这样奔波，无形之中，给她造成了很多很多的苦楚，她又拉不回来霍清廉，霍清廉又不能动员她到农村来，那这样他们就各自追求各自的事业和目标。其三是舆论的压力。霍清廉曾经说过，谣言像网一样把他罩住。其四是他在自我折磨。霍清廉常常想：尽可能不要有失误，不是失败，失误，你在这个岗位上，如果你失误了，首先是自尊心产生这个东西，那你怎么样跟大家交代啊。
霍清廉说，他在下乡之前，牢骚很多，这个也看不惯，那个也看不惯，自从到了张武店村，就觉得发牢骚没用，只有积极去做。在农村有看不顺的，但他坚信：杜鹃夜半犹滴血，不信东风唤不来。
1999年霍清廉抛出一个观点：中国的农业现代化最滞后，农业是弱势产业，农民是弱势公民。一群弱势公民从事弱势产业，天怎么能发展快。三农不解决，中国的现代化很难，埋怨政府没有用只有去探索，去干，也不要去攀比，别的知识分子都不下农村，你去农村干什么，别发离骚，我选择做，把张武店村做成功了只是成功的一半，这个村是不是可运于掌，它是个矛盾的旋涡，我总感觉事倍功半，农村不是那么简单的。
做三农问题的专家写三本书
霍清廉今年42岁。古语讲：人到40不惑。他认为人的过程就是奋斗的过程，等到你功成名就的时候你觉得很可怕，那时负担就来了。虽然你追求的时候很苦，又不堪回首，可有一种动力，支撑霍清廉在农村继续呆下去的就是三农问题，他希望做这方面的专家，有理论有实践，成为霍氏体系。他还要写3本书：一是《饥饿的中国》写他听到农民说我们饿，包括解放以后的饿，写1958年的饿，信阳事件，饿死好多人，包括商丘、开封饿得人都浮肿，吃树皮，吃麦苗，甚至人吃人，告诉人们改革开放吃饱饭了，不要忘记中国上怎么过来的;二是《疯狂的中国》写文革时期妻子揭发丈夫，儿女与父母划清界线，学生斗老师，下级斗领导;还有一本《东方人格》包括他的父老乡亲，他们的人格在西方看来是传奇的，他们轻利重义、勤劳善良。
如今，霍清廉在张武店已经12年半了，他写了这样一首诗抒发情感：问路到农村，但见新天地。不知水深浅，水上有淤泥。大船不得行，令我顿锐意，豪语熠熠在。不罢亦不弃。不问天时何，但看有民意。相信精诚至，功至业自立。
