시아는 2018년 첫 블로그 포스트에서 올해는 기업 시장에 진출하고 싶다는 뜻을 분명히 밝혔습니다.
드롭박스나 넷플릭스 같은 회사들이 시아에 콘텐츠를 저장하고 배포하기를 바라고 있습니다.
-운영 부사장 잭 허버트
드롭박스나 넷플릭스 같은 회사들이 시아로 데이터를 옮기기 위해서는 네트워크가 기업 수준 규모에서도 작동해야 합니다.
그렇다면 현재의 시아는 어떨까요? 시아를 설치한 후 시아 네트워크에는 데이터를 얼마나 업로드할 수 있을까요? 비용은 얼마나 될까요?
아는 사람은 별로 없습니다.
시아의 용량을 왜 알지 못하는 걸까요?
간단한 답변은 알아보려고 시도해본 사람이 하나도 없다는 거죠.
최초 등장 이후 몇 년간 시아는 탈중앙화된 저장소 네트워크를 정상 작동시키는 데만도 어려움을 겪었습니다. 성능을 알아볼 시간은 별로 없었죠.
게다가 시아 네트워크에서의 테스트에는 큰 비용이 들어갑니다. 테스트를 위해서는 저장소 판매자들에게 실제로 비용을 내야 하죠.
부하 테스트 한 번에도 수백~수천 달러가 들어갈 수 있습니다. 가격이 얼마나 될지를 모르니, 다음 질문을 할 때가 됐군요...
시아의 비용을 왜 알지 못하는 걸까요?
시아는 탈중앙화됐습니다. 고객이 시아에서 데이터를 구매하려면 하나의 단체가 아니라 업로드, 다운로드, 저장소 가격을 직접 정한 다양한 저장소 판매자들에게서 구매해야 합니다.
현재 소프트웨어로는 구매자가 비용을 조절할 수도, 알아볼 수도 없습니다. 최대 예산을 정하는 게 다죠. 구매자 입장에서는 실제로 업로드를 하기 전까지 업로드 비용이 얼마인지를 알 수가 없는 것입니다.
시아 수치 모니터링 사이트인 시아스탯은 조회 가능한 호스트 정보를 기반으로 예상 저장소 비용을 산출해냅니다.
이는 예상에 불과하기 때문에 실제 사용량을 얼마나 정확히 반영하는지는 알 수가 없습니다.
시아를 한계까지
전 시아의 한계를 알아보고 싶습니다.
새로운 소프트웨어 프로젝트를 생각 중인데, 시아를 사용해서 만들지도 모르죠. 그러기 위해서는 최대 저장 공간이 300GB인지, 300TB인지 아는 게 아주 중요합니다. 데이터 저장 비용이 3달러인지, 3000달러인지도 미리 알고 싶고요.
그 답을 찾기 위해 시아의 한계를 알아보는 엄격한 테스트를 진행할 예정입니다. 시아 노드 하나로 업로드할 수 있는 데이터의 최대량을 알아내고 그 비용을 측정할 건데요.
테스트에는 3가지의 각기 다른 테스트 사례를 사용하겠습니다.
최적의 사례
첫 테스트 사례에서는 각 파일이 정확히 125828280바이트(~120MiB)인 파일들을 업로드하겠습니다.
시아는 업로드할 파일을 125828280바이트 "청크"로 나눠서 처리합니다. 이 크기에 정확히 맞는 파일들을 업로드하면 최적의 저장소 용량을 사용할 수 있겠죠.
이 테스트로 시아 성능의 상한치를 알아볼 수 있습니다.
최악의 사례
두 번째 테스트 사례에서는 각 파일이 정확히 1바이트인 파일들을 업로드하겠습니다.
시아는 ~120MiB 데이터 청크를 사용하기 때문에 용량이 1바이트인 파일은 시아를 이용하는 최악의 사례가 되겠죠. 시아가 ~120MiB 청크를 생성하더라도 그중 1바이트만 사용하게 되는 겁니다.
이 테스트로 시아 성능의 하한치를 알아볼 수 있습니다.
실제 데이터
시아의 한계를 알아보기 위해 모조의 파일을 사용하는 위의 두 테스트와는 달리 마지막 테스트에서는 실제 데이터를 사용하겠습니다.
전 DVD나 블루레이를 사게 되면 디스크 이미지를 로컬 저장소 서버로 복사한 후 동영상 데이터를 MP4로 변환해 스트리밍합니다. 전 블루레이를 많이 구매해서 디스크 데이터가 4.33TB에 달하죠.
이 파일들을 시아에 업로드하고 실제 데이터 성능을 알아보겠습니다.
전체 테스트 계획
테스트 계획 전체는 아래에 있는 PDF로 볼 수 있습니다. (영문)
https://blog.spaceduck.io/files/sia-load-test-preview/load-test-plan-2018-02-07.pdf
테스트 계획에 대해서는 동부 표준시로 2월 10일 토요일 오후 12시까지 커뮤니티 피드백을 받을 예정입니다. 제안할 게 있으시거나 테스트 설계에 허점을 발견하신다면 댓글을 남겨주시거나 michael@spaceduck.io로 이메일을 보내주시기 바랍니다.
피드백 기간이 끝나면 최종 테스트 계획을 이 글에 업데이트한 후 그에 따라 테스트를 진행할 예정입니다.
테스트 결과
결과는 2018년 2월 16일 게시 예정입니다.
출판편향 문제를 피하고자 측정 오류로 결과를 산출하지 못하더라도 그 여부와는 상관없이 결과를 게시할 예정입니다.
테스트 결과에는 다음이 포함됩니다.
- 부하 테스트에서 획득한 측정치를 상세 분석한 보고서
- 모든 테스트 툴에 대한 소스 코드를 MIT 라이선스 준수 하에 깃허브에 게시
같은 테스트를 진행하고 싶으신 분들을 위해 필요한 모든 것을 제공할 예정입니다. 이 툴들은 시아 이후 버전에도 사용할 수 있으며, 시간이 지나면서 시아의 수치가 향상되는 것을 커뮤니티가 벤치마크할 수 있습니다.
자금 제공
이 테스트에 사용된 시아 지갑은 시아 현상금 기여자 그룹에서 제공해주셨습니다. 테스트 종료 이후 남은 시아코인은 다시 해당 그룹에 반납할 예정입니다.