初代の名通上人が15歳のとき、父親順信と共に船で門司に向かっていたが、風波のため、佐賀関の古宮に上陸、古宮のお宮に参拝し、名通上人はそのまま当地に残り住みつき、元和元年(1615年)に父親順信が建てた沖ノ島の徳応寺を佐賀関に移し再建しました。


幕末期には、坂本龍馬、勝海舟の一行がこの寺を訪れ宿泊しています。

オランダ、アメリカ、イギリス、フランスの4カ国の砲撃中止の交渉のため幕府から長崎出張の命を受けた勝海舟が、海軍塾の塾頭である坂本龍馬を連れ立って神戸を出帆、佐賀関に上陸し、佐賀関・肥後街道を通って長崎に向かいました。

佐賀関に上陸したときの記録が徳応寺所蔵の［日本人物誌］に乗船のスケッチも含め、詳しく残されています。