寺院的又一大特色是窑洞。开辟的山体前，座座窑洞内供奉着各位佛系尊者，精湛的雕塑技艺，形象的神态尊容，让游人不由得心生敬畏、肃然起敬。根据当地老人口述:“听家人说在当时时期， 战争年代为了躲避战乱大多数当地人都躲到了山里，很多窑洞都是为了有容身之地跟随寺院的师傅们开辟出来的。也有老人说当是的年代为了躲避日军的空袭开辟出来的防空洞，也有多种版本，无从考究。

院内石碑多块，《宜阳县文物志》记载：“根据寺内现存的明代弘治元年（1488年）《重修龙潭寺暨会禅寺碑记》载，‘该寺迨至天和元年（566年），以显胜迹’，可知该寺创建于南北朝北周天和元年之前。”而宜阳县历史文化研究会会长乔文博查阅相关史料，认为龙潭寺很可能始建于北魏孝文帝时期（公元471年~499年），建寺年代与少林寺同期。龙潭寺于1986年被公布为第二批河南省文物保护单位。其中一块上面有“天和元年”（公元566）字样，是否为创建年代，尚不能确认。道光二十二年，进士侯选儒学训导宋象贤撰文并书丹于石碑之上，详细记录了龙潭寺的历史。

龙潭寺是省级佛教禅宗文物保护单位发掘文物：青石柱墩、石碑、古建筑等......
青石柱墩，柱墩上部为莲花造型，墩基为四面体，四个侧面上均刻有密集的阴文小楷，多数字难以辨认，但其中一个面上“天和三年”几个字负清晰可辨。天和是北周武帝宇文邕的年号，因此有称，该寺始建于北周天和三年(公元568年)。
碑刻，较早的为大明弘治元年(公元1488年)年重修龙潭禅寺碑，但碑身破损，字迹斑驳，碑文已难以辨认。碑文清晰，尚可解读者为清道光二十二年(公元1843年)所立，但此《重修龙潭寺碑记》中一开始即称:“此寺不知何昉 ”( 昉 ，读fang，起始之意)，碑文撰写者署名“岁进士侯选儒学训导宋象贤。”
寺创建于南北朝天和元年之前。明清两朝多次重修，现存大殿的梁架和斗拱都具有金元时期的工艺特点。