Leggenda vuole che, alla fine della guerra di successione Jinshin nel 672, il Principe Ōama, che sarebbe divenuto l’Imperatore Tenmu, colpito alla schiena da una freccia, avesse guarito la ferita in un kamaburo - bagno di vapore - della zona, il cui nome, Yase, si ritiene abbia avuto origine proprio da questo episodio, dato che, a seconda di come si scrive, la parola yase significa sia “otto secche del fiume” sia “freccia e schiena”.
L’eremo divenne proprietà del politico e imprenditore Tanaka Gentarō (1853-1922) e fu denominato Kikaku-tei dal nobile e statista Sanjō Sanetomi. Alla sua morte, devenne una villa privata per i dirigenti della Kyoto Electric Light, una delle molteplici imprese di Gentarō. Nel corso degli anni Venti e Trenta furono creati nuovi edifici e giardini.
La casa della cerimonia del tè e alcuni degli edifici originali furono costruiti di Nakamura Sotoji, mentre i giardini furono probabilmente progettati da Sano Tōemon.