相传，很久以前，丹霞山叫烧木佛旧地，烧木佛旧地有个木佛精，住在锦石岩，专抓山下的黎民百姓藏到山上岩洞里，然后砍山上的大树把百姓烧成焦肉而食。一天，木佛精又到大石山下的村庄去抓人，他右手抓到一个英俊潇洒的男青年，名叫阿丹，左手抓到一个美丽漂亮的少女名叫阿霞，夹在腋下一阵风飞回锦石岩。木佛精看到阿丹、阿霞如此英俊漂亮，舍不得立即烧死吃掉，便施展法术，要阿丹、阿霞做他的奴婢，终日侍候他。阿丹、阿霞被关在伏虎岩，他俩同病相怜，相依为命。时间天天地过去，这对苦命的孩子，便成了一对情侣，以爱来抗争魔鬼。他们眼看着周围一堆堆尸骨，心想总有一日要被木佛精吃掉，为了逃出木佛精的魔掌，他俩日夜思量也找不到逃生的计策。因为木佛精眼睛犀利，能看穿大山巨石，不管你走到那里他都看得一清二楚，都要把你抓回来重罚。加上他身上有两件宝贝，一件是火葫芦，一件是水葫芦，抓不到你就放出火葫芦的火或水葫芦的水把你烧死或淹死。若要逃生，得趁木佛精睡着后，双目紧闭时，先把他的两件宝贝偷走才行。一天，木佛精下山抓到两位百姓，放在熊熊烈火中烧焦后，提来一大桶酒美滋滋地吃喝起来，人肉食完了，酒喝干了，木佛精醉了，倒在地上呼呼入睡。阿丹和阿霞看逃走时机已到，两人轻手轻脚来到木佛精身边，只见木佛精张开血盆大囗，鲜血夹着口水流了一地，鼻子喷出的腥气卷起岩洞的砂尘，漫天飞舞，两只葫芦挂在胸前。阿丹和阿霞刚想伸手摘他身上的葫芦，岂料木佛精来了个侧身，一个葫芦挂在脖子上，另一个葫芦被压在腰间当睡垫。阿霞手快一下解下脖子上的葫芦，但阿丹眼看着木佛精腰间露出的半截葫芦不知所措。突然木佛精伸了一个懒腰，阿丹、阿霞以为木佛精醒来了，赶快撒腿就跑，由于心慌，一脚踢飞了木佛精放在身边的茶壶，惊醒了木佛精。它大声呼叫阿丹、阿霞，不见回答，摸摸身上的葫芦少了一只，心想肯定是他俩做的恶做剧，用它的妖精眼扫，只见阿霞手拿着葫芦，阿丹牵着阿霞的手在山峰溪涧奔跑。由于饮酒过量，木佛精想起身追赶又身不由己，几次爬起又摔了下去。妖精就是妖精，只见他用力往自己腹部打了一拳，口中喷出一道火光，木佛精酒醒，哈哈大笑道：“你有飞天遁地的本事，也休想逃出我烧木佛旧地。”说完又是哈哈大笑，笑声惊天动地，漫山树林沙沙作响。阿丹、阿霞意识到木佛精知道了，不走也就没命了，为了生存，他俩沿着锦江而下，再转过群山环抱的大石山，攀上最高峰的巴寨，跨过董塘河，穿过将军寨，又越过锦江河，他俩觉得身后的风越来越大，脚越来越不听使唤。这时木佛精跃上半空，哈哈大笑说：“再跑就烧死你俩！”阿丹和阿霞定睛一看，木佛精如一只大魔鬼，青面獠牙，咧开血红的大口，张牙舞爪地挥舞着葫芦。阿丹、阿霞被吓坏了，牵着手，不管是刀山火海也在所不顾。木佛精看来是抓不回他俩了，大声吼道：“你走吧，我要你变成烧焦的石头。”于是打开手中的葫芦盖，一道红光从半天射向群山，顿时火光冲天，大山燃起了大火，风助火势，火趁风威，树木、石头烧得劈劈啪啪满天作响，熊熊烈火沿着阿丹、阿霞走的路线燃烧，眼看大火就要燃着阿丹、阿霞了。如果这样下去，一定会被烧死，阿霞突然急中生智说：“阿丹哥，你赽跑，跑得越快越好。”阿丹撒开双腿，象飞人一般，越过崇山峻岭，可是不管阿丹走得多快，还是走不出木佛精的魔爪。一刻钟过去了，又一刻钟过去了，已经绕丹霞山走了一圈。“火再红些，风再大些！”木佛精咬牙切齿地叫着。火越来越大，看来是逃不出火海了，阿霞突然想起太升起的地方，应该是一条金光大道，于是她大声说：“阿丹哥，往东跑，不能回头，一直往东跑！”说完她停下脚步，打开手中的葫芦，对着烈火就要喷洒。突然狂风掀起一团高数十丈的烈火，劈头盖脑地向阿霞袭来，阿霞被火浪喷倒在地上，烈火从脚一直烧到头部，动弹不得了，只是手中葫芦的水仍汩汩地流着，顺着低洼的南方流去，流成了一条河。也就是现在的锦江河。
 
        阿丹朝着东方撒开双腿，飞快地奔跑，越过高山，跨过河流，眼看就要逃出木佛精的魔爪，这时他想牵着阿霞的手一齐跳过黄沙坑，才发现阿霞没有赶上。他猛加回头追寻阿霞，看见阿霞全身已被烈火烧得通红，顿时变成了一座大山（即现在的睡美人）。阿丹惊呆了，站在那里一动不动，烈火以迅雷不及掩耳之势，继续向东燃烧，烧着了阿丹的衣服，烧着了阿丹的头发，直到把阿丹烧成一座焦岩，变成现在的大家看到的人面石。
 
       木佛精火葫芦的烈火把山石烧成火红色，阿丹变成了人面石，阿霞变成了睡美人，但是烧不灭阿丹、阿霞忠贞的爱情，他们依然朝夕相伴，岁暮相守。

        后人为了纪念阿丹、阿霞不畏强暴、宁死不屈的爱情故事，用阿丹、阿霞的名字，把这里的山叫做丹霞山。