关于大坝的营造，北宋民间还流传着“白蛇示迹”创建拱坝的传说：“是岁溪水暴悍，功久不就，一日，有老人指之曰：‘过溪遇异物，即营其地’，果见白蛇自山南绝西北，营之乃就”，听起来是挺别扭的，其实也很简单，这说的是南朝朝廷当时派出负责修堰的官员是詹、南二位司马，两司马到任后，带着一班幕僚对松阴溪进行考察时，由于地形复杂，竟一时无法决定坝址，站在溪边叹息之时，忽见一条白蛇从对面昂首横游过来。真是天佑民矣！两司马感慨万端，他们从白蛇过溪游行的蜿蜒曲折路线中得到启发，把力学原理运用到水利工程建设上，成功地在宽过半里的松阴溪上创建拱坝截流，这在当时的生产力条件下是十分伟大的，同时也开创了世界水利工程技术史上拱形堰坝的先河，后来经历代修葺完善，固定成我们今天看到的这个样子。

大坝最初为木筱构筑。关于通济堰最初的坝体结构，已无考证（古籍中无记载了），在宋开禧元年改建成石坝以前，通济堰一直采用传统的柴木结构，这可以从《通济堰志》的有关记载中证实，这种柴木大坝需在每年洪峰之前的初春枯水期进行大修，很是费工费料，因主材料是竹木，为保证修坝用材，特别备有方圆五里的堰山，山上的竹木专供修坝所用。

关于大坝的结构也有几种说法，一种说法是多层柴木编桩结构的土砾坝心堰坝，称之为“编桩土心坝”。即在选定的坝址上打几排坝桩，并以圆木钉固，再以柴木编成的长辫交错紧密地缠绕在坝桩上，组成上游挡水坝面和下游挡土坝面。在二个结坝面之间充实砾土，筑成坝心。再在坝顶的桩头上以圆木前后错纵相连钉结实，并以卵石压顶，堰坝下游坝面用圆木支撑。早期的通济堰坝除了这种编桩土心结构外，一种说法是方木叠垒结构的坝体。但是据本地参与过通济堰维修的村民诸葛金文的回忆，当年维修，挖到坝基时，清楚可见有两排松木，分一横、一竖两层相叠，排列在卵石地上，松木之上压着巨石，没有编桩，这在元朝《丽水县重修通济堰记》中也得到了证实，在2007年9月，丽水市博物馆在大坝下游松阴溪河床上做了敲桩试验，结果表明：在溪滩卵石地上将木桩敲下去是不可能的，所以关于编桩之说也就不成立了，另外一种方木叠垒结构的坝体也同样是不可能的，主要是方木坝体在水中浮力较大，易被水漂，那到底大坝初创是怎样的呢？据各种通济堰重修记中记载，通济堰大坝初创时，应为“木框填石”，也就是《通济堰志》中记载的“木蓧土砾坝”，其方法是在木框中放“簟皮”（dian pi 用竹篾编织而成，农村常用于晒谷子用），并用木筱（相当于木钉）固定，再填实土砾筑成堰堤。。到了宋朝以后就改成石坝了。通济堰是一个完整的水利工程体系，由大坝、进水闸门、石函、叶穴、干渠、支渠、毛渠以及众多的湖塘组成，眼前的这个大坝全长275米，宽25米，高2.5米。有3条干渠，72条支渠，321条毛渠。干渠全长22.5公里，建有大水闸两处，分为上、中、下三源，上段有叶穴，直通瓯江，以供泄洪。从干渠又分出支、毛渠共48派，在支渠上建有72座水闸进行分流调节。各支渠又利用尾闸拦蓄余水，并挖凿许多湖塘与支渠相通，蓄水以备旱灾。至此，形成了以灌溉为主、储泄兼顾的竹枝状水利网。大坝每天将20万立方米的溪水拦入堰渠，通过这个网，至今日夜灌溉着碧湖平原3万多亩良田，并解决了灌区人民的生活用水问题。整个通济堰水利工程体系集水利学、力学、结构学、美学、地形学等学科于一身，是我国水利工程建设史上的一大不朽杰作，是中华民族在悠久的历史进程中创造的文明瑰宝。1961年，它被浙江省列为第一批文物保护单位，2002年又被国务院公布为第五批国家重点保护单位，现在这里是丽水市的十二大摄影创作基地之一，也是古堰画乡的核心景区。