Snow Ha凛ちゃん!

ラブライブに関するあれこれ

2019-02-24から1日間の記事一覧

float32では正しく計算されるが、float64では正しく計算されない場合のある式:ceil(1.1*x) とそのラブライブ!スクフェスのスコア計算における影響

概要 色々な計算を行っていた所*1、次のようなfloat32とfloat64における一般的な現象に直面しました。それは、 ceil(1.1 * x) という計算は、 float32だと計算が合うが、float64だと計算が合わない場合がある という現象です。つまり、 計算精度が高いはずの…