“秤砣寨”位于当地一处景点“城门寨”的东边，由于寨岩遮挡，长期以来，一直养在深闺人未识。“秤砣寨”由5块巨大的圆形红色砂岩层层叠叠垒积而成。顶部是一块簸箕大小的秤砣形巨岩，巨岩高达20余米，岩面平整如镜。据说，这也是“秤砣寨”名称的来由。“秤砣寨”右侧，有一座直插云天的石峰，石峰半腰有一条没有完工的栈道，距离“秤砣寨”有10来米。
据当地民间传说，明末清初，闯王李自成被清兵追杀至安福县的蒋家村(即今临澧县佘市镇蒋家坪)，为了轻装上阵，他下令把携带的金银财宝分多处埋于地窖，令爱将李过将自己的小儿子托孤给一户蒋姓人家，并将藏宝图交给蒋家。自此，蒋家一夜暴富。至清道光年间，蒋家成为全国最富的“三个半”财主之一，这“半个财主”就是蒋家后裔蒋光业。蒋家坪有水无山，富甲天下的蒋光业想在附近修建一处“避暑胜地”，他在离家20华里的五雷山下发现一处景点——“城门寨”，于是大兴土木，并无意中发现了“秤砣寨”。由于没有处理好与当地山民的关系，结果工程半途而废。
按照地质学原理，“城门寨”、“秤砣寨”是由奥陶纪后的湘桂加里向东运动所导致的强烈褶皱与断裂，经数千万年流水切割、风化而成。
