[스포츠서울 | 표권향기자] 글로벌 데이터 기업 클라우데라가 올해 세계 데이터 산업의 주요 기술에 대한 전망을 12알 발표했다. 이번 발표에서 클라우데라는 지속적으로 생성형 인공지능(AI)에 대한 관심이 증가될 것으로 전망하고, 생성형 AI 기반 데이터 관리와 접근 방식을 위한 5대 주요 기술을 분석했다.

다니엘 핸드 클라우데라 아태지역 CTO(최고기술경영자)는 “생성형 AI는 모든 주요 산업과 업무 활동에 영향을 끼칠 뿐 아니라, 현재 노동 시간의 60~70%에 해당하는 업무 활동을 자동화할 것으로 전망돼 기업은 이에 대한 준비가 요구된다”며 “클라우데라는 기업이 생성형 AI를 운영하고 발전시킬 수 있도록 지원한다”고 말했다.

클라우데라는 생성형 AI를 운영하고 개선하기 위한 노력을 강화하고, 기업이 유연성과 성장을 도모하기 위해서는 클라우드 전반에 걸쳐 증가하는 데이터를 관리하기 위해 접근 방식을 조정해야 한다고 권장했다.

이에 클라우데라는 올해 데이터 관련 기술에 대해 △강한 MLOps와 데이터 페더레이션 △RAG(검색증강생성)·파인 튜닝 강조 △클라우드에 대한 신중한 접근 △데이터 관리 자동화·데이터 민주화·제로 트러스트 보안 △개방형 데이터 레이크하우스로 마이그레이션 등 5분야를 전망했다.

챗GPT 출시 이후 기업들이 대규모 언어 모델(LLM)에 주목하고 있지만, SaaS(서비스형 소프트웨어)에 기반한 LLM은 심각한 데이터 보안 문제를 일으켜 민감한 데이터를 재사용해야 하는 퍼블릭 멀티 테넌트 서비스에 부적합하다고 분석했다. 또한 메타의 라마-v2와 같은 오픈소스 LLM은 챗GPT에 필적하는 성능을 가졌지만, 확장 가능하고 안전한 방법으로 상품화하기 힘들고 기존 ML(머신러닝) 모델에 비해 데이터 페더레이션이 어렵다고 판단했다. 따라서 기업은 내년에도 더 나은 LLM 모델을 위해 지속적으로 MLOps(머신러닝운영)와 데이터 페더레이션 기능 개발에 주력할 것으로 전망했다.

LLM 성능을 최적화하기 위한 방법으로는 프롬프트 엔지니어링, RAG, 파인 튜닝(미세조정) 등이 있다. RAG는 데이터 엔지니어링 파이프라인과 벡터 전문 데이터베이스가 필요하지만, LLM을 훈련하거나 조정할 필요가 없다. PEFT은 파인 튜닝을 통해 규모가 큰 LLM을 훈련해도 적은 비용과 훈련 데이터로도 비슷한 성능을 제공한다. 내년에도 RAG는 기업이 생성형 AI에 대한 좋은 접근 방식이 될 것이라고 내다봤다. 이로 인해 기업들은 생성형 AI에 접근하기 위해 RAG를 사용하고, PEFT와 같은 파인 튜닝을 새로운 프로젝트나 이전 RAG 아키텍처의 일부를 대체하는 데 사용할 것으로 예상했다.

클라우데라는 내년에도 클라우드 컴퓨팅이 기업 데이터 전략에서 중요하고 혁신적인 기술이라고 꼽았다. 하지만 클라우드를 우선하던 기업들은 클라우드의 경제성을 고려해 신중하고 균형 잡힌 입장으로 전환해, 퍼블릭과 프라이빗 클라우드 모두에서 클라우드 네이티브 아키텍처를 통해 데이터, 클라우드 전략을 지원하고 유연성, 확장성, 비용 절감을 제공하는 것으로 나타났다. 이에 따라 퍼블릭과 프라이빗 클라우드에 걸쳐 데이터 패브릭은 지능적이고 자동화된 정책 중심 데이터 관리 접근 방식의 기반이 된다과 설명했다.

데이터는 기하급수적인 속도로 생성·획득하고 있는 가운데, 더 높은 수준의 자동화와 지능화를 데이터 플랫폼 관리에 도입해야 한다고 강조했다. 이에 따라 내년에는 인프라, 플랫폼, 워크로드에 걸친 옵저버빌리티가 더 중요해질 것으로 전망했다. 기업과 기술자들은 데이터 과학자, 데이터 엔지니어, 비즈니스 분석가들이 데이터 게이트키퍼를 거치지 않고 더 좋은 인사이트를 얻을 수 있도록 데이터 라이프사이클의 모든 단계에서 마찰을 줄이고 실시간 데이터에 접근하는 데 초점을 맞출 계획으로 알려졌다.

하이브리드 클라우드 네이티브 아키텍처, 이기종 SaaS와 PaaS(서비스형 플랫폼)서비스 채택, 사이버 보안 강화는 데이터 보안과 제로 트러스트에 주목하고 데이터 관리에 대한 책임을 분명하게 한다고 강조했다. 제로 트러스트는 지속적으로 인증과 데이터를 활용하는 사용자와 시스템 확인이 필요한데, 데이터 민주화가 진행되면서 늘어나는 수요를 충족하고 데이터 거버넌스와 관리의 혁신을 이끌 것으로 기대했다. 이로 인해 데이터 페더레이션에 대한 관심이 높아져 기업 전반적으로 더 쉽게 제로 트러스트 구현과 실행을 할 수 있는 기술이 개발될 것으로 전망했다.

그동안 많은 데이터 관리 공급사들이 아파치 아이스버그를 채택하면서 데이터 레이크하우스 구현에 상당한 혁신이 일어났는데, 아이스버그는 데이터 관리 공급자들이 오픈소스 전략을 수정하고 아이스버그에 대한 지원을 구축하는 데 영향을 끼쳤다. 클라우데라는 내년 데이터와 워크로드가 퍼블릭과 프라이빗 클라우드 전반에 걸쳐 개방형 데이터 레이크하우스에 꾸준히 마이그레이션될 것으로 예상했다.

gioia@sportsseoul.com