伝承によれば、能勢の先祖は以前舞鶴田辺藩に仕え、後福知山藩（朽木氏）に仕えたといいます。
江戸時代末期 ､ペリーがやってきた頃 慶応から嘉永年間（19世紀半ば）丹波国福知山の鋳物治町に、能勢佐助というものが住み、大工職と鉄砲鍛冶職についていたそうです。
佐助は嘉永６年（1853年）７月８日に亡くなりますが、佐助には清助と市次郎良孝のふたりの息子がおりました。