현재 저희 회사 솔루션을 개발중에 있기 때문에 Azure의 여러 리소스를 시험적으로 사용하고 있습니다.
하지만 빅데이터에 대한 대비도 해야하기 때문에 로그를 좀 제대로 쌓고 분석하고 싶은데요.
현재 로그는 따로 쌓지는 않고 아직 테스트 데이터이기 때문에 Application Insight로 모니터링만 하는 수준입니다.
아는 리소스가 없다보니 익숙한 Azure Cosmos DB, Azure SQL Server 에 Log를 저장하고 있었는데요, Cosmos DB는 비용이 상당히 비싼 편이고, OLTP 형 리소스이기 때문에 Log를 쌓는데 적합하지 않다고 파트너사에게 들었습니다.
따라서 OLAP 형태의 Azure Data Lake라는 리소스를 추천받았는데요, 검색해보니 개념이 쉽지 않고, 이것 저것 함께 사용해야하는 리소스들이 많은 것 같습니다. 데이터 분석가의 영역이 있기 때문에 자세히 파고들지는 못하겠지만, 적어도 데이터 분석가를 채용하기 전에 데이터를 쌓는 작업은 해두려고 합니다.
Data Lake에 대해서만 공부하면 될까요?