当山の前身は、寛正元年(1461)に如幻尼が建立した『不二庵』。
当初は南禅寺派に属し、美濃守護代の斎藤氏一族や、地元の豪士である古田彦右衛門を檀越として栄えた。
　黒瀬西字不二に寺跡あり、明応九年(1510)我が聖澤派の派祖である東陽英朝禅師が再度住職を勤める際、木曽川を中国の滹沱河にたとえたて、山号寺号を臨滹山大仙寺と改め開山する。これより妙心寺派に転じ美濃守護の土岐政房は、当寺を土岐家祈願所とした。
　第八世愚堂東寔禅師に至って、寛永七年(1630)より七年間を有し、和知初代城主、稲葉右近方通(稲葉一鉄四男春日局伯父)の外護により寺を現在地に移転し、堂宇を新築した。

　愚堂禅師は当山に約四十年間在住しており、最中に四度、本山に瑞世され十五哲三首座の法嗣を派出されている。特筆するべきことは、至道無難・道鏡慧端・白隠慧鶴と現代に至る唯一の日本臨済禅の法脈であること。そして宮本武蔵が禅師を心の師と仰ぎ、参禅問法をされたことである。
　愚堂禅師は寛文二年（1662）に後西天皇より大圓寶鑑国師と諡号を賜る。それ以来正眼寺、永保寺と共に美濃三道場の一つといわれる末寺十四ヶ寺、搭頭五ヶ院を有し妙心寺派別格地として多数の高僧を輩出し、聖澤古道場の法灯を保ち、創建以来兵火災害など一度も遭うことなく多数の什宝や古文書が今日に伝えられ現代に至っている。

　当山は前身の寺院、『不二庵』を含め550年の歴史を有する。
当時八百津の有力者達は、話し合いの末に
「八百津、不二庵に立派な和尚を呼ぼう」と決意し、
『東陽英朝禅師(とうようえいちょう)』を招いた。
臨済宗本山の一つ、妙心寺は四つの派に分かれており、
内一つに聖澤派(しょうたくは)がある。東陽英朝禅師は、その聖澤派の派祖であり、妙心寺の聖澤院で住職(妙心寺の塔頭)を勤めていた大変実力のある和尚であった。
妙心寺でも指折りの和尚がこのような田舎に来ることは
大変珍しいことである。東陽英朝禅師が招聘に応じた理由は諸説あるが、八百津町野上の出身であったことがその一つだと言われている。

　 　東陽英朝禅師は二度目の住職就任時、『不二庵』の名を改めようと決意する。寺院の名には“山号”と“寺号”という称号が与えられる。山号は、中国で禅宗が盛んになった唐の時代から用いられるようになり、日本にも禅宗と共に山号の制が伝えられたと言われている。
　東陽英朝禅師は山号を考案する際、八百津に流れる木曽川を、中国の『滹沱河(ごだがわ)』になぞらえた。禅師は“滹沱河を臨む”という意味をこめ、山号を『臨滹山(りんこさん)』とする。『臨滹山・大仙寺』と改名したのは、文亀元年（1501)の出来事であった。

　時が進み、200年程経過した頃(1610頃)、当山は徐々に力を落としていく。人々はこの状況を案じ「本山から和尚を招くことで、大仙寺を再建させる」と決意。そこで、春日野局や仙台の伊達政宗などが慕った名僧『愚堂東寔禅師(ぐどうとうしょく)』を当山第八世住職として招致したのであった。実力者であった愚堂東寔禅師には、専属の着物の仕立て屋や、大工、身の回りのお世話をする者など幾人もの付き人がいた。そして、その者たちも共に八百津にやって来ることとなった。その結果、八百津は街ひとつに等しい人々を受け入れることとなり、大きな経済効果をもたらしたのである。その際当山は、現在の臨滹山の麓に寺を移すこととなった。