용어정의 - DataOps

DataOps는 IT운영 및 SW개발 팀 간의  협업을 도와, 민첩한 애플리케이션  개발을 위한 DevOps 에서  유래된 용어입니다.

DevOps가 애자일한 개발 운영의 이야기라면, DataOps는 애자일한 데이터 운영, 데이터 서비스에 대한 이야기입니다.
DataOps는 AI시대에 보다 민첩하고 자동화된 데이터 운영을 제공하기 위한 방법론이며,
쉽게 얘기하면 원하는 데이터를 원하는 곳에 적시에 제공하는, 즉 민첩한 데이터 서비스를 이야기 하는 것입니다.

DataOps가 우리에게 필요한 이유는 다음과 같습니다.
 - 데이터는 더 많아지고 다양해지며 분산되고 격리되고 있습니다.
 - 저장 및 관리 비용이 계속 증가되며, public cloud provider에 lock-in 되고 있습니다.
 - 거버넌스 및 규정 준수 요구 사항이 증가되고 있습니다.
 - 민첩한 프로세스 및 자동화가 없다면 데이터에서 가치를 찾는 것이 느리고, 수동적이며 반복하기 어려워 집니다.

DataOps는 데이터를 다루는 팀 간의 협업을 도와야 합니다. 
페르소나로 나누면  데이터 관리자, 데이터 엔지니어링, 데이터 사이언스, 비지니스 사용자 등이  있습니다.

데이터 관지자 입장에서는 거버넌스 측면에서 적절한 데이터 권한으로 데이터가 잘 통제되는지 , GDPR 같은 개인정보 보호는 잘 지켜지는지가 우선이며, 데이터사이언스 입장에서는 필요한 모든 데이터를 분석하는 것이 우선입니다. 
이들 각 페르소나 간의 데이터를 바라보는 목표가 다르기때문에 어느 한쪽에 치우치게 되면 문제가 발생합니다. 데이터 관리자의 입장이 크면 데이터를 통제하여 분석가가 분석재료를 찾기 어렵게되고, 데이터사이언스 입장이 크면 데이터에 대한 통제가 안되서 보안이 유출될 가능성이 커지게 됩니다.

결국은 각 페르소나 간 민첩한 데이터 서비스를 할 수 있는 방안이  필요합니다. 데이터 가버넌스를 갖으면서도 원하는 데이터를 적시에 제공받을 수 있는...

 

- IDG 주관 Business Impact & Data+ 행사 본인 발표자 중