究其“仙人”来由，据程乡县志记载，曾有碑记，但已失传。我们追本溯源，遍访乡中父老。相传明朝某年遭受大旱，庄稼枯萎，乡人跪地祷告上苍恩赐甘霖，虔诚之至，感动佛菩萨。旋即，见三位大仙，驾鹤飞来，至高山岩处，行云布雨，飞进岩洞，旱患顿解。人们不忘三仙大恩，将山洞称为“仙岩洞”，集资建殿，将三仙当祖师供奉，名曰“飞来三祖师”，并供奉数尊观音菩萨圣像。数百年来，此地香火鼎盛，有求必应。相传昔日江西地理明师，寻龙脉到此处，仔细察看，不禁连连赞叹：“此乃宝地也！．．．．．．”。住持在明师停留处建起神坛，名曰“江西伯公殿”。
人世沧桑，风云变幻，佛教隆微交替。本寺在一九五九年因失机缘，僧众离寺，殿堂倒塌。党的十一届三中全会春风使宗教信仰自由的政策得以贯彻落实，佛光普照。在乡贤及海内外善信匡助下，一九八八年开始重建，但鲜如教义。一九九五年由释证荣法师负责后，一九九七年向上级主管部门申请批准重新扩建。在社会各界热心人士及广大善信的支持下，得倡佛法。现寺中僧众以秉持佛理为已任，依教奉行、严安戒律、以身作则、慈悲示人，立心弘法，为筹建庄严道场做出全面规划。寺院聘请广东潮州建筑设计院、广州亚泰建筑设计院，依照传统佛教古刹格局，仿明代建筑，精心进行总体规划设计。按照设计，扩建工程项目及绿化总需用地约2千亩。
本寺于2000年兴工重新扩建，目前已完工的项目有：四千多尊贴金佛菩萨圣像、大悲楼、五百观音山、观音亭、延年亭、益寿亭、朝圣廊、江西伯公殿、聚宝塔、三施楼、仙岩路、圣水观音路、“佛光寺”牌匾、国道至本寺道路（宽7米长2公里）等。寺院现已征地及承包土地共七百多亩。
在建项目有：三圣殿、国道至本寺道路改道并提升工程；
筹建中的项目有：山门、天王殿、大雄宝殿及附层、佛光塔等。
一期工程共需人民币约十五亿元（建筑造价约需人民币十三亿元，造佛像约需人民币二亿元），如机缘成熟，将有第二期规划工程。
