楼主: Slimming
收起左侧

[教程经验] 分享:浮点数精度问题

Slimming 2022-4-7 12:33:47 | 显示全部楼层
附加一条精度解决方案:
④23位小数位包含整数,整数越多小数越少,可以将小数位单独储存,那么23位小数位全部用来储存小数,精度也能随之提高,如果整数不是0且基本不变的情况下可以尝试此方法。
例如:数据a一直在100.1-100.3之间变化,那么可以认为整数100是不变的,仅取小数位0.1-0.3来储存可以提高6位(2^6=64<100)精度。
回复 送花

使用道具 举报

我愿人长久 2022-4-7 13:43:59 | 显示全部楼层
感谢分享 4-01.png 27-01.png
回复 送花

使用道具 举报

Joyce 2022-4-7 14:20:09 | 显示全部楼层
感谢分享
屏幕截图 2022-03-02 090158.png
回复 送花

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册   

本版积分规则

有技术问题,就上汇川技术社区

INOVANCE汇川技术 公众号

扫码下载掌上汇川APP

全国服务热线:8:30-17:30

4000-300124

苏州地址:江苏省苏州市吴中区越溪友翔路16号

深圳地址:深圳市龙华新区观澜街道高新技术产业园汇川技术总部大厦

Copyright © 2003-2100 汇川技术 Powered by Discuz! X3.4 ( 苏ICP备12002088号 )
快速回复 返回列表 返回顶部