현재 진행 중인 세계적인 데이터 폭발의 잠재적인 영향은 계속 상상력을 자극하고 있습니다. 2018년 보고서에 따르면 매일 초당 평균 1.7MB의 데이터가 생성되며 연간 데이터 작성량은 이후 2배 이상이 되고 2025년까지 다시 2배 이상이 될 것으로 예측되고 있다. 맥킨지글로벌연구소 보고서에 따르면 빅데이터를 교묘하게 활용하면 3조달러의 추가 경제활동이 발생하고 자율주행차, 개인화된 의료, 추적 가능한 식품 공급 체인처럼 다양한 응용이 가능해진다.
그러나 이 모든 데이터를 시스템에 추가하게 되면 어떻게 데이터를 검색하고, 사용하고, 관리하고, 합법적이고, 안전하고 효율적으로 공유할 것인지에 대해서도 혼선이 발생하고 있습니다. 특정 데이터 세트는 어디서 온거죠? 누가 뭘 소유하고 있어? 누가 특정한 것을 보는 것을 허락하나요? 그거 어디 있어요? 공유할 수 있을까요? 그거 팔 수 있습니까? 사람들은 그것이 어떻게 쓰였는지 아십니까?
데이터 애플리케이션이 성장하고 어디에나 존재하게 됨에 따라 생산자, 소비자, 데이터의 소유자와 관리자는 따라야 할 플레이북이 없음을 깨닫게 됩니다. 소비자들은 이들이 신뢰하는 데이터에 접속해 최선의 결정을 내리고 싶어 한다. 생산자는 데이터를 필요로 하는 사람들과 안전하게 공유하기 위한 도구가 필요합니다. 그러나, 기술 플랫폼은 불충분하고, 양자를 묶는 공통의 진실의 원천은 없다.
어떻게 데이터를 찾을까? 언제 옮기면 될까요?
완벽한 세계에서 데이터는 누구나 접근할 수 있는 유틸리티처럼 자유롭게 흘러갈 것이다. 포장하여 원재료처럼 판매할 수 있습니다. 그것을 볼 권한이 있는 사람이면 누구나 쉽게 볼 수 있었다. 그 기원과 움직임을 추적하고, 연선 어딘가에서 무도한 사용에 대한 우려를 제거할 수 있다.
물론 오늘날 세계는 이렇게 운영되지 않는다. 대규모 데이터 폭발은 대량의 정보를 공유하는 것을 어렵게 하는 문제와 기회의 긴 목록을 만들어 냈습니다.
조직 내 및 조직 밖의 거의 모든 장소에서 데이터가 작성되고 있기 때문에 첫 번째 과제는 수집되고 있는 것과 데이터를 어떻게 정리해서 찾아낼 것인가입니다.
저장처리된 데이터와 인프라에 대한 투명성과 주권 결여는 신뢰의 문제를 야기한다. 오늘날 여러 테크놀로지 스택에서 중앙 집중형 로케이션으로 데이터를 이동하는 것은 비용이 많이 들고 비효율적입니다. 오픈 메타데이터 표준이 없고, 넓게 액세스 가능한 애플리케이션 프로그래밍 인터페이스가 없기 때문에, 데이터에의 액세스와 소비가 곤란할 수 있습니다. 섹터별 데이터 온톨로지의 존재는 섹터 외의 사람들이 새로운 데이터 원본에서 이익을 얻는 것을 어렵게 할 수 있습니다. 복수의 이해관계자와 기존 데이터 서비스에 접근하기 어려운 경우 협치 모델 없이는 공유가 어려울 수 있습니다.
유럽이 리드하고 있다
이러한 문제에도 불구하고, 데이터 공유 프로젝트는 대규모로 진행되고 있다. 유럽연합과 비영리단체의 지원을 받는 하나는 기업이 엄격한 유럽 데이터 프라이버시법의 보호 아래 데이터를 공유할 수 있는 상호 운용 가능한 데이터 교환 시스템 가이아X를 만드는 것이다. 이 거래소는 인공지능(AI), 분석, 사물인터넷을 중심으로 한 데이터서비스 정보 저장소이자 산업간에 데이터를 공유하는 용기로 구상되고 있다.
휴렛팩커드 엔터프라이즈는 최근 기업, 서비스 프로바이더, 공공기관의 가이아X 참여를 지원하는 솔루션 프레임워크를 발표했다. 현재 개발 중이며, 오픈 스탠다드와 클라우드 네이티브를 기반으로 하는 데이터 공간 플랫폼은 도메인 전문가와 일반 사용자가 보다 쉽게 접근할 수 있도록 하고, 데이터, 데이터 분석, AI 접근을 민주화한다. 도메인 영역의 전문가가 신뢰할 수 있는 데이터셋을 보다 쉽게 식별하고 운영 데이터에 대한 안전한 분석을 할 수 있는 장소를 제공합니다.이로 인해 중앙 집중형 로케이션으로의 데이터 이동은 항상 비용이 많이 듭니다.
이 프레임워크를 사용하여 복잡한 데이터원을 IT 환경 전반에 걸쳐 통합함으로써 기업은 규모에 맞게 데이터의 투명성을 제공할 수 있기 때문에 데이터 과학자든 아니든 모든 사람이 어떤 데이터를 가지고 있는지, 어떻게 액세스하며 어떻게 실시간으로 사용하는지를 알 수 있습니다.
데이터 공유 구상도 기업의 최우선 과제다. 기업이 직면한 중요한 우선순위 중 하나는 내부 AI와 기계학습 모델을 훈련하기 위해 사용되는 데이터 검증입니다. 인공지능과 기계학습은 이미 기업과 산업계에서 널리 사용되고 있으며, 제품개발부터 채용, 제조까지 모든 면에서 지속적인 개선을 추진하고 있습니다. 그리고 우리는 지금 막 시작했어요. IDC는 세계 AI 시장이 2021년 3280억달러에서 2025년 5540억달러로 성장할 것으로 예측했다.
AI의 진정한 잠재력을 끌어내기 위해서는 정부와 기업이 이들 모델을 추진하고 있는 모든 데이터의 집합적 유산을 더 잘 이해할 필요가 있습니다. AI 모델은 어떻게 결정을 내립니까? 편견 있어요? 그들은 신뢰할 수 있습니까? 신뢰할 수 없는 개인은 기업이 모델을 훈련한 데이터에 접속하거나 변경할 수 있습니까? 데이터 생산자와 데이터 소비자를 보다 투명하고 효율적으로 연결시키는 것은 이러한 질문의 일부에 답변하는 데 도움이 됩니다.
건물 데이터의 만기
기업은 모든 데이터를 하룻밤에 잠금을 해제하는 방법을 해결할 수 없습니다. 그러나 이들은 데이터 공유 정신을 형성하는 데 도움이 되는 기술과 관리 개념을 활용할 준비를 할 수 있다. 이들은 데이터를 일시적으로 소비하거나 공유하는 것이 아니라 전략적이고 효과적으로 소비하기 위한 성숙도를 확보할 수 있다.
데이터 생산자는 일련의 조치를 취함으로써 보다 광범위한 데이터 전송에 대비할 수 있다. 그들은 데이터가 어디에 있는지 이해하고 어떻게 데이터를 수집하고 있는지를 이해할 필요가 있습니다. 그런 다음 데이터를 소비하는 사람들이 적절한 시간에 적절한 데이터 세트에 액세스할 수 있도록 해야 합니다. 그게 출발점입니다.
그리고 더 어려운 부분이 있습니다. 데이터 프로듀서에 컨슈머(조직 내 또는 조직 외)가 있는 경우에는 데이터에 접속해야 합니다. 그것은 조직적이고 기술적인 도전입니다. 많은 조직은 다른 조직과의 데이터 공유에 대한 통치를 원하고 있습니다. 적어도 조직 전체에서 데이터를 찾을 수 있는 데이터의 민주화는 조직의 성숙도 문제입니다. 그들은 그걸 어떻게 취급하나요?
자동차 산업에 공헌하는 기업은 벤더, 파트너, 하청회사와 적극적으로 데이터를 공유한다. 자동차를 조립하려면 많은 부품과 많은 조정이 필요하다. 파트너는 엔진에서 타이어, 웹에 대응하는 수리 채널까지 모든 정보를 쉽게 공유합니다. 자동차의 데이터 스페이스는 10,000개 이상의 벤더에 대응할 수 있습니다. 하지만 다른 산업에서는 더 섬적일 수 있습니다. 일부 대기업은 자사 비즈니스 유닛의 네트워크 내에서도 기밀 정보를 공유하고 싶지 않을 수 있습니다.
데이터멘털리티생성
소비자와 생산자의 연속체 양쪽에 있는 기업은 다음의 전략적인 질문을 스스로 함으로써 데이터 공유 정신을 향상시킬 수 있습니다.
기업이 AI와 머신러닝 솔루션을 구축하고 있는 경우, 팀은 어디에서 데이터를 취득하고 있습니까? 그들은 어떻게 그 데이터에 접속해 있죠? 데이터의신뢰성과실적을확보하기위해서어떻게이력을추적할까요?
데이터가 다른 데이터에 가치가 있는 경우, 팀이 그 가치를 확장하기 위해 오늘 진행하는 매니타이즈 경로는 무엇입니까?또한 데이터는 어떻게 관리됩니까?
기업이 이미 데이터를 교환하거나 수익화한 경우, 여러 플랫폼(사내 및 클라우드)에서 보다 광범위한 서비스 세트를 허용할 수 있습니까?
벤더와 데이터를 공유할 필요가 있는 조직의 경우, 동일한 데이터셋과 업데이트에 대한 벤더의 조정은 현재 어떻게 이루어지고 있습니다.
프로듀서는 데이터를 복제하고 싶은가, 아니면 모델을 강제로 들여오려는가. 데이터 세트가 너무 커서 복제할 수 없는 경우가 있습니다. 기업은 데이터가 있는 플랫폼에서 소프트웨어 개발자를 호스트하고 모델을 출입시킬 필요가 있습니까?
데이터를 소비하는 부문의 종업원은 조직 내 상류의 데이터 생산자의 관행에 어떤 영향을 줄 수 있습니까?
행동을 일으키다
데이터 혁명은 비즈니스 기회를 만들어 냈고 전략적인 방식으로 데이터를 검색, 수집, 관리, 통찰력을 얻는 방법들에 대해서 많은 혼란을 일으켰습니다. 데이터 생산자와 데이터 소비자 간의 단절이 심화되고 있다. HPE는 오픈소스를 기반으로 HPEEzmeral Software Platform과 같은 솔루션을 사용하여 사내와 열린 클라우드를 모두 지원하는 플랫폼을 구축하여 양측이 데이터 혁명을 실현하는 데 필요한 공통 기반을 제공하고 있습니다.