相传这里的祖先都是翦径的好手。这些被生活逼得走投无路的山民们，三三两两用油脂锅黑涂了脸，于风高月黑的晚上或烟雾弥漫的白天，躲在山嘴的崖洞或草丛里，一俟猎物出现，就跳将出来将哨棒舞得山响，大声吆喝：“留下买路钱！”这些人既不知道像梁山泊英雄好汉那样替天行道，又没想过要像黄巢那样揭竿而起，他们只是把这当作一种谋生的手段，就像打铁撑船磨豆腐那样。他们一般不杀生，即使是遇到那种把一个铜板看得比磨盘还大的吝啬人，也只是将他们打晕，把财物掠去。因在社会上危害不大，历代官府放任自流，直到明朝正德年间，吏部尚书华盖殿大学士李东阳回家省亲也被借了点“路费”，官府才象征性地派几个兵进山围剿。这次围剿唯一的收获是使黄龙坳产生了一个叫黄大河的领袖。大家在黄大河的统一号令下，时常去回水滩拦截商船，到蓝豹岭和绿鹰寨一些大村落打家劫舍，搞得一方不得安宁。崇祯九年，张献忠攻下茶陵，许多难民纷纷涌入黄龙坳。张献忠走后，除去一些有产有业的富豪商贾外，大部分难民在这里安顿下来了，烧荒种地。一些在黑道上得势的人也金盘洗手，置田造屋。后来，又陆续从广东梅山迁来一些客家人在此落户，到清朝顺治年间，黄龙坳就成了云阳山仅次于蓝豹岭和绿鹰寨的第三大村落。
黄龙坳是这一带姓氏最多的村子，赵钱孙李王刘陈杨什么都有，许多姓氏是百家姓中没有的，名不见经传的，甚至是闻所未闻的。黄姓是这里人口最多的姓氏，也不过只占总人数的五分之一，最少的匡姓只一户。由于姓氏太多太杂，村子里几乎是一盘散沙，很难拧成一股绳，故经常遭受别的村寨侵侮，为了增强村子的凝聚力，长老们一致认为应该修建一座众家祠。
这天，众氏长老们，全部聚在村长“梅仙老爷”黄苍山家的院子里议事。“梅仙老爷”是当地的一尊吉神，常帮人消灾解难。黄苍山家业不大，五十亩水田，三十亩坡地，百十亩竹林，这点产业比起蓝豹岭和绿鹰寨那些大户自然是少得可怜，就是在黄龙坳也只勉强排上前十名。他的影响在于他的心地善良和知书达礼。他读过私塾，是黄龙坳唯一的秀才。据说他每年都要种十几亩红薯，秋上象征性的收一点点，然后任穷人们去刨去挖。他常常对他的大儿子黄树仁说：“像我们这样的人家不在地里丢点，那些捡红薯的穷人到哪里去捡……”遇上灾荒年，黄老先生命家人在村口的大楠树下支一口大铁锅，每天熬一锅稀饭粥，供逃难人或断了顿的村人喝。至于修个小桥，补段烂路，凡是力所能及，常常是悄没声息地做了，遇到实在做不了而又非做不可的便四处游说，苦口婆心地把大伙鼓动起来，最终还是自己出钱最多，出力最多……
