庵は、大師が旅立たれた後、時代の変遷とともに自然に廃絶し、大師御筆の心経と本尊も紛失したと伝わる。
時代は下り平安後期の天永2年辛卯(1111年)興教大師の恩師である阿波上人青蓮大和尚(当国出身で高野山の念仏聖として活躍し、熊野権現に祈願して霊験を得たため人々に半権現として崇められた)が弘法大師を慕って廃絶していた庵の再建を発願された。
これに際し上人と親交の深かった白河天皇の第五皇子聖恵法親王が自ら本願となり、庵に再び本尊とするため般若菩薩の尊像を御寄進。正式名称が無かったため、般若菩薩の密号から大慧金剛密寺の号と、般若菩薩と縁の深い文殊菩薩の密号から吉祥尊院の院家号を下賜される。しかし、「尊」の字が恐れ多いということで通称を吉祥院とした。院家号を重要視して寺号より院号を名乗る。
上人は大師に習い心経を書写し安置、日頃より信仰する熊野権現の本地仏阿弥陀如来を謹刻し、本尊の傍らに祀り念仏三昧の修行をされたが、後に高野山に帰山された。
當院は聖達の念仏道場となり、保延3年丁未(1187年)には、後に奈良の東大寺を再建された重源上人が念仏修行をされるなど聖の拠点のひとつとなった。
鎌倉時代、承久の乱により土佐に流された土御門上皇が、貞応2年癸未(1223年)阿波に御遷幸された。重源上人を崇敬されていた上皇は、上人が修行された寺があるのを聞かれて上人の菩提、ご自身と後鳥羽、順徳両帝の後生得楽を祈り、阿弥陀如来根本陀羅尼を御自ら書写され、近臣であった源雅具を院使として遣し、當院に納められ勅願所(御願所)と定められる。
寛喜3年辛卯(1203年)に、上皇が崩御され、その菩提を祈る為、遺臣達により上皇の念持仏であった地蔵菩薩立像が納められた。
正安3年辛丑(1300年)寺院名の上に山号をつける風習が広がり當院のあった山を吉良山と言っていたが、真理を極めるとの意味から如竟の文字を足して如竟吉良山と号し山号とした。
戦乱期の天正5年丁丑(1577年)阿波上人の開山以来、上人の華美な伽藍は要らないとの遺志をまもり、小さな山寺として法灯を伝えたが、土佐の長宗我部元親による阿波侵略の戦火に遭って炎上し再び廃寺、本尊や什物は散逸する。
この伝説の寺を現住職が、平成14年壬馬(2002年)に新たに般若菩薩を造立し、大師が般若心経を納めた故事に因み、高野山第389世座主密雄大僧正が、昭和天皇御即位の時に玉体安穏を祈り書写された絹本の般若心経を厨子の台座に納めた。また、大師開拓の姿を写した鍬持大師像と、阿波上人の故事から阿弥陀如来を祀り般若、阿弥陀、大師の三尊を本尊とし、勧請中興開山に真言宗長者・仁和寺門跡裕信大僧正をお迎えして院家格の寺院として再建した。
平成29年丁酉(2017年)には、失われた土御門上皇念持仏の御身代として古仏の地蔵菩薩像を勧請し安置する。
宗派は真言宗御室派で京都仁和寺の直末寺院である。
尚、当院の山号は「如竟吉良山」普段は長い為、山号を省略し「如竟山」とし、略称を「如竟山 大慧金剛密寺 吉祥院」、正式名称は「如竟吉良山 大慧金剛密寺 吉祥尊院」と号す。
因みに、江戸時代の古地図に吉良山を北山と表記しているが、これは山が上角村の北にあった事とから北山とも呼ばれるようになった。