한국 시간으로 2023년 8월 6일 일요일 오후부터 Vultr Object Storage에 장애가 발생하여 닷넷데브에 새로운 파일을 업로드하거나, 기존 첨부 파일을 다운로드하는 동작이 정상적으로 작동하지 않고 있습니다.
장애 상황이 해결되는대로 공지사항을 추가로 말씀드리도록 하겠습니다.
아울러 장애가 발생하는 상황을 최소화하기 위하여, Vultr Object Storage 대신 Cloudflare R2로 마이그레이션하는 작업을 연중 진행할 예정입니다.
사이트 이용에 불편을 드려 죄송합니다.
항상 노고에 감사드립니다!
Vultr 측에서 안내한 내용을 전달합니다. 향후 하드웨어 증설 작업이 진행되는 기간 (예상하기로는 최대 1개월까지) 동안 파일 업로드나 다운로드가 일시적으로 작동하지 않을 가능성이 있습니다. 닷넷데브는 뉴저지 (EWR) 데이터센터의 오브젝트 스토리지를 사용 중이며, 이 곳이 영향 범위입니다.
이번 중단은 계획된 하드웨어 증설(다른 위치의 NVMe 기반 클러스터와 일치시키기 위해)이 완료되기 전에 수요가 급증하여 클러스터가 일상적인 밸런싱 작업을 일관되게 수행할 수 없어 발생했습니다.
우리 팀의 복구 우선 순위는 데이터 손실 방지, 데이터 가용성, 쓰기 액세스 복원, 그리고 마지막으로 성능입니다. 사용자 액세스는 제한되어 있지만, 클러스터는 활발하게 밸런싱을 재조정하고 있으며 곧 허용 가능한 읽기 상태에 도달할 것으로 예상됩니다. 그 동안에는 간헐적으로 개체를 읽을 수 있으며, 다시 시도하면 최상의 결과를 얻을 수 있습니다.
다른 위치(SJC1, AMS1, BLR1, DEL1)의 VOBS (Vultr Object Block Storage)에는 이미 고성능 NVMe 스토리지가 설치되어 있으며, EWR의 확장 유지보수 작업이 완료되는 동안 해당 워크로드에 대해 새로운 VOBS 구독을 생성할 것을 권장합니다. VOBS EWR에 대한 액세스는 곧 복구될 것으로 예상되지만, 향후 몇 주 동안 하드웨어 교체 과정에서 플랫폼에 평소보다 높은 부하가 걸릴 것입니다.
정상적인 읽기/쓰기 액세스가 복구될 때까지 정기적으로 업데이트를 제공할 예정입니다.