杨氏外祠位于村落入口，始建于明嘉靖年间，现存建筑为清乾隆年间重建。该祠堂主轴线上有门厅、戏台、中厅、寝堂三进两天井，另有两个附属院落一同组合成规模宏大的封闭式建筑群。门厅为七开间楼屋，两翼又凸出夹房各一间，门楼是三重檐歇山顶式样，檐角起翘较大，檐下施花哨的象鼻昂斗拱，横梁、额枋、牛腿、雀替木雕双龙戏珠、仙鹤、凤凰、狮子、麒麟、梅花鹿等丰富多彩的瑞兽图案，前出廊用轩蓬顶，明间用斗拱撑托六边形天花藻井并施彩画，檐柱采用双层柱础。门厅背面向天井凸出歇山顶戏台，台面由大小十六根立柱支撑，八角藻井由二十八攒斗拱簇拥，并彩绘八仙过海图，画风脱俗，绝非一般工匠所及。戏台两侧各有厢楼三间，底层敞开，楼上用井口纹护栏，并在明间挑出歇山顶。中厅三开间，体量较大，明间前后檐都挑出歇山门楼，前后出廊用天花藻井，绘麒麟、山水、花卉等，内部梁架硕大精良，明间抬梁式五架梁对前单步、前双步、后单步用五柱，次间抬梁穿斗混合式用六柱，柱础有鼓状、礩形两种，月梁饱满并施包袱式彩绘。过后天井再上五级台阶便是寝堂，面阔五间，明间前檐出歇山门楼，前廊有八卦图案的圆形藻井，横批尚好，隔扇无存，明次间抬梁式五架梁对前单步后双单步，梢间穿斗式，木构件保存部分彩绘。两侧厢房各三间，明间出门楼，天花绘有凤凰、山石、花卉等。与中厅山墙相隔的两个小院各是三间两搭厢一天井布局，装修较简朴。