现在保存的最早的榻榻米是在日本奈良时代的奈良寺院的正仓院里，在形态上同现代的榻榻米十分相似。实际上，在古代还有用皮毛和绢锦等材料做成的榻榻米，跟现代的榻榻米有着很大的区别。
随着时代的发展，日本平安时代贵族的府邸中出现了寝殿的样式，而在席子四周包边的褥垫成为了贵族家中常备的物品。
日本镰仓时代到室町时代这段期间，是同中国唐朝交往甚密的时期，因此这一时期仿造唐朝建筑的书院开始出现在各种日本榻榻米的房间里，同时对格子户和纸拉门也开始普遍运用。榻榻米要么就铺在房间的周围，围成一圈，要么就将整个房间铺满。这个时期的榻榻米已经成为了日本贵族身份的代表，而此时的榻榻米已经同现代的榻榻米风格十分类似。
到了后桃山时期，日本茶室开始兴起，对榻榻米的应用更为广泛。
在日本江户时期，榻榻米已经深入到普通百姓的家中，被大量使用。也是在这一时期，日本开始用“坪”作为住宅面积的计量单位。一坪等于一张榻榻米的大小。在有的地方，一度房屋税的多少就是由多少张榻榻米来决定的。榻榻米的广泛使用使得民间开始出现大量制作榻榻米的手工作坊，从植草到加工席面，最后到成品的制作都有专门的工匠负责完成。