Latency Numbers Every Programmer Should Know

latency.txt

Latency Comparison Numbers (~2012)
----------------------------------
L1 cache reference                           0.5 ns
Branch mispredict                            5   ns
L2 cache reference                           7   ns                      14x L1 cache
Mutex lock/unlock                           25   ns
Main memory reference                      100   ns                      20x L2 cache, 200x L1 cache
Compress 1K bytes with Zippy             3,000   ns        3 us
Send 1K bytes over 1 Gbps network       10,000   ns       10 us
Read 4K randomly from SSD*             150,000   ns      150 us          ~1GB/sec SSD
Read 1 MB sequentially from memory     250,000   ns      250 us
Round trip within same datacenter      500,000   ns      500 us
Read 1 MB sequentially from SSD*     1,000,000   ns    1,000 us    1 ms  ~1GB/sec SSD, 4X memory
Disk seek                           10,000,000   ns   10,000 us   10 ms  20x datacenter roundtrip
Read 1 MB sequentially from disk    20,000,000   ns   20,000 us   20 ms  80x memory, 20X SSD
Send packet CA->Netherlands->CA    150,000,000   ns  150,000 us  150 ms

Notes
-----
1 ns = 10^-9 seconds
1 us = 10^-6 seconds = 1,000 ns
1 ms = 10^-3 seconds = 1,000 us = 1,000,000 ns

Credit
------
By Jeff Dean:               http://research.google.com/people/jeff/
Originally by Peter Norvig: http://norvig.com/21-days.html#answers

Contributions
-------------
'Humanized' comparison:    https://gist.github.com/hellerbarde/2843375
Visual comparison chart:   http://i.imgur.com/k0t1e.png
Interactive Prezi version: https://prezi.com/pdkvgys-r0y6/latency-numbers-for-programmers-web-development/latency.txt

CPU / Cache / RAM
L1 Cache : RAM → 약 200배 빠름
CPU 연산 : RAM → 약 100~200배 빠름

👉 결론: CPU는 “거의 공짜”, RAM 접근부터 비용 시작

RAM vs Storage
RAM : SSD → 약 1,000~1,500배 빠름
RAM : HDD → 약 100,000배 빠름

👉 여기서 이미 “차원이 다름”

SSD vs HDD
SSD : HDD → 약 50~100배 빠름

👉 랜덤 접근 기준 (게임/DB에서 핵심)

Storage vs Network
SSD : 같은 DC 네트워크 → 약 2~5배 빠름
SSD : 인터넷 → 약 100배 빠름

RAM vs Network
RAM : 같은 DC 네트워크 → 약 5,000배 빠름
RAM : 인터넷 → 약 1,000,000배 빠름

👉 여기서 시스템 설계가 갈림

CPU ≈ Cache << RAM << SSD << HDD << Network

속도 차이 체감:
CPU → 즉시
RAM → 빠름
SSD → 느리기 시작
HDD → 매우 느림
Network → “다른 세계”

RAM = 1초라고 가정하면

SSD ≈ 15분
HDD ≈ 1.5일
인터넷 ≈ 10~100일

👉 이게 실제 시스템 체감 성능이다

이 숫자에서 나오는 결론은 명확하다:

❌ CPU 최적화 집착 → 거의 의미 없음
✅ I/O 줄이는 게 압도적으로 중요

특히:

DB 설계
캐싱 전략
네트워크 호출 횟수

여기서 성능 90% 결정됨

개발자용 핵심 규칙
네트워크 호출 = “함수 호출 10만 번”
디스크 접근 = “미친 비용”
RAM hit = “거의 공짜”