祖冲之在数学方面最主要的成就，首推圆周率的计算。他应用刘徽的割圆术，在刘徽的基础上继续推算，求出了精确到第七位有效数字的圆周率。史载“祖冲之更开密法，以圆径一亿为一丈，圆周盈数三丈一尺四寸一分五厘九毫二秒七忽，朒数三丈一尺四寸一分五厘九毫二秒六忽，正数在盈朒二限之间”[2]。这相当于算得了圆周率在3.1415926和3.1415927之间。在公元5世纪时就取得如此成就，是很了不起的。用这个数值计算直径为一千米的大圆周长时产生的误差不超过1厘米。在国外，直到1427年，阿拉伯数学家阿尔·卡西才求出更精确的数值，把圆周率推算到第17位有效数字，但这已经是祖冲之逝世之后近1000年的事了。
为了计算的方便，祖冲之还求出用分数表示的两个圆周率数值，一个是355／113，称密率，一个是22／7，称约率。其中密率是表示圆周率的最佳渐近分数。在欧洲直到1573年，德国数学家鄂图才得到了这一数值。约率虽仅精确到第3位有效数字，但因数目简约，实际生产生活中使用起来很方便。