Live Engineering


애드센스 와이드


구공화국 기사단(구공기)과 REST <3> by lefoot

2009년 처음 이 REST 포스팅을 시작하였을 때는, 그것이 가져올 파괴적인(!) 힘을 미처 깨닫지 못하고 Web 2.0의 Mash up을 가능하게 할 기술 정도로 이해하고 더 깊은 공부를 게을리하고 방치하였는데 (역시 아직 내공이 깊지 않아), 이 가능성을 본 누군가는 열심히 프로젝트를 수행하여 무려 6백만 달러 이상의 투자를 유치하고 (기사 클릭), cloud computing 플랫폼 구축의 중요한 한 축을 이룰 수 있는 기여를 하게 되었다! 

지금 하고 있는 이야기는, 최근 data center의 storage system strategy 의 중요한 트렌드 중 하나인 object storage system에 관한 것이다. Swift, Ceph, Riak 등이 그 주인공. 이들은 몇년전 포스팅했던 rapidshare가 제공하는 스토리지 서비스처럼, "URL에 포함된 특정 hash value를 file object에 매핑" 해주는 기능을 가지고 있는데 (지나친 단순화일지도?), metadata lookup 으로 골머리를 앓던 DB guys 들의 고민들을, Ring Architecture 라 일컬어 지는 일종의 hash function을 이용하여 해결하였다 (혹은 해결하고 있는 중이다). billions of objects 이상의 스케일에서는 metadata space만 하더라도 수 TB이상이 되는데, 이를 SQL/NoSQL 솔루션을 이용해서 해결하기에는 performance 나 availability 등의 측면에서 어려운 점이 매우 많았기 때문이다. 

Object storage 와 관련해서는 HDD 시절부터 다수의 논문(클릭)들이 쏟아져 나왔고, 최근에는 Seagate에서 재밌는 시도들(클릭)이 벌어지고 있는데, 이들이 어떻게 향후 로드맵에 영향을 줄 것인가, 각 object storage system의 구현 원리와 feature 비교 등을 논의해보려 한다.

덧글

댓글 입력 영역