fx4800 发表于 2019-10-3 19:50:45

计算错误的问题

各位老师好，我有个卡西欧fx-4800计算器，用他计算41529877.349-41529769.422时，结果显示是107.9200，实际结果不应该是107.9270吗，这个0.007怎么没有了呢，能改过来吗，谢谢

ycx1979 发表于 2019-10-8 09:30:51

本帖最后由 ycx1979 于 2019-10-8 09:33 编辑

是计算精度问题，停产的老机器只有10位有效数字的精度，上面的计算中有11位有效数字了，把前面的最高位4都去掉，结果就对了。现在的机器不会出错。

ycx1979 发表于 2019-10-8 09:31:51

是计算精度问题，停产的老机器只有10位有效数字的精度，上面的计算中有11位有效数字了，把前面的最高位4都去掉，结果就对了。现在的机器不会出错。
页: [1]
查看完整版本: 计算错误的问题