相传绍圣元年苏东坡到罗浮山，酒后巧遇一村姑,诗兴起，吟到“寻幽探胜入罗浮，乘醉策杖觅归途。雨后山花香更美，村姑回眸胜仙姑“的打油诗。村姑见其放肆，回敬道：“东坡游罢过西湖，举杯邀月作狂徒。是非只为多开口，记得朝廷贬你无。”东坡顿时心头一惊，知遇仙姑，待回头去寻找时，却突然倾盆大雨，溪水暴涨冲走了回去的木桥。正遇铁拐李路过，把铁拐变成一座桥让苏东坡过了溪。后人为纪念苏东坡与何仙姑、铁拐李相遇而建此桥以作纪念。

　　桥板正中刻有“会仙桥”三字，是台湾著名爱国诗人丘逢甲于清宣统三年所书。