ในสมัยก่อน ประเทศญี่ปุ่นแบ่งการปกครองเป็นหัวเมืองเล็กหัวเมืองน้อย และราวๆศตวรรษที่ 16 บริเวณเมืองทะคะยะมะ จังหวัดนาราในปัจจุบัน เคยเป็นหัวเมืองเล็กๆชื่อว่ายะมะโตะ ถูกปกครองโดยเจ้าเมืองชื่อ ไดเซ็น ไคโยริซะกะ
ในช่วงนั้นเอง ที่มุระตะ จุโค ผู้รื้อฟื้นการชงชาญี่ปุ่นโดยยึดศาสนาพุทธนิกายเซนเป็นพื้นฐาน ต้องการอุปกรณ์สำหรับชงชาผงกับน้ำร้อนให้เข้ากัน จึงได้สั่งมินบุโนะโช โซเซ็ตสึ ลูกชายคนรองของเจ้าเมืองทะคะยะมะ ให้เป็นผู้ออกแบบและผลิตอุปกรณ์สำหรับการชงมัทฉะขึ้นมา โดยอุปกรณ์ที่มินบุโนะโช โซเซ็ตสึประดิษฐ์ขึ้นมานั้น ก็ได้กลายเป็นฉะเซ็นอันแรกของโลก
กาลต่อมา เมื่อมุระตะ จุโค ย้ายไปอยู่ที่เกียวโต ก็นำฉะเซ็นไปถวายให้สมเด็จพระจักรพรรดิ โกสึจิมิคะโดะ และได้รับพระราชทานชื่อฉะเซ็นว่าทะคะโฮะ มีความหมายว่ารวงข้าวอันสูงส่ง เพราะส่วนแปรงของฉะเซ็นมีลักษณะเหมือนรวงข้าวสีทอง
เมื่อได้รับชื่อเป็นเกียรติจากสมเด็จพระจักรพรรดิเช่นนั้นแล้ว มินบุโนะโช โซเซ็ตสึ ผู้ประดิษฐ์ฉะเซ็นขึ้นมาจึงได้ตั้งใจพัฒนาการผลิตฉะเซ็นมากขึ้น และได้สอนเทคนิคการทำฉะเซ็นให้กับผู้รับใช้ จากนั้นชื่อเมืองทะคะยะมะ ก็ได้เปลี่ยนตัวอักษรคันจิของคำว่า ทะคะ มาเป็นตัวอักษรที่ใช้ใน ทะคะโฮะ ชื่อพระราชทานจากสมเด็จพระจักรพรรดิแทน เพื่อให้เป็นเกียรติแก่เมืองทะคะยะมะ สถานที่ผลิตฉะเซ็นสำหรับตีมัทฉะ
หลังจากตระกูลของเจ้าเมืองทะคะยะมะหมดอำนาจ เทคนิคการทำฉะเซ็นก็ถูกตกทอดอยู่ที่ครอบครัวของผู้รับใช้ตระกูลทะคะยะมะทั้ง 16 ครอบครัว โดยครอบครัวเหล่านี้ ต่างก็สัญญาว่าจะสืบทอดเทคนิคการทำฉะเซ็นให้แก่ลูกชายในตระกูลเพียงคนเดียวเท่านั้น ทั้งนี้ มีศัพท์ภาษาญี่ปุ่นเรียกการสืบทอดแบบนี้ว่าอิชฉิโซเด็น มีความหมายว่า สืบทอดให้แก่ลูกชายเพียงคนเดียว
ปัจจุบัน การทำฉะเซ็นเก้าสิบเปอร์เซ็นต์ของที่ญี่ปุ่นทั้งหมดอยู่ที่เมืองทะคะยะมะ จังหวัดนารา เป็นอุตสาหกรรมเล็กๆภายในครัวเรือน วันหนึ่งๆช่างฝีมือหนึ่งคนสามารถผลิตฉะเซ็นได้เพียงสิบอัน
.
