오차 썸네일형 리스트형 [통계] 부동소수점과 오차 컴퓨터에서 실수는 부동소수점(Floating Point)으로 표현된다. 이에 따라 마무리 오차, 오버/언더 플로우, 유효숫자의 상실이 발생한다. 이번 게시글에서는 부동소수점수의 진법 변환과 각각의 오차에 대해 다루고자 한다. 1/ 부동소수점수와 정밀도 * 2배 정밀도: 지수부 11비트, 가수부 52비트 (64비트)로 [2^-1024, 2^1023] 16자리의 정밀도를 갖음 * 단일 정밀도: 지수부 8비트, 가수부 23비트 (32비트)로 [2^-128, 2^127] 6자리의 정밀도를 갖음 2/ 기저의 변환 3/ 오차 (error) * 절대오차: |X_t - X_A| * 상대오차: |X_t-X_A| / |X_t| (Scale로 표준화) 4/ 유효숫자의 개수 (significant digit) 참값과 비교 시.. 더보기 이전 1 다음
