O que é DataOps?
Por que você precisa dele agora e como torná-lo real.
O que é DataOps? A resposta depende da pessoa para quem você está perguntando. O conceito está evoluindo, há muita conversa e cada um tem seu próprio ponto de vista. Existe uma tendência de concentrar-se em ferramentas e em mecânica, mas o DataOps é muito mais do que isso. É fácil perder o verdadeiro significado de um termo se ficarmos presos a palavras da moda.
Mas então, o que é o DataOps? Não é um software ou uma ferramenta que você possa comprar, mas a tecnologia definitivamente faz parte dele. Acredito que você precisa pensar mais holisticamente. O DataOps está muito mais relacionado a pessoas e a processos, àqueles que produzem dados, àqueles que o consomem, como eles se comunicam e como você disponibiliza os dados. Ele pode incorporar DevOps ágeis, gerenciamento de qualidade total, princípios de manufatura enxuta e aplicar tudo isso a análises.
Na Rackspace Technology, definimos o DataOps como uma “estrutura de processo para todo o ciclo de vida dos dados que incorpora implementações de estilo DevOps, desenvolvimento ágil, controles estatísticos do processo e governança para aplicar em relação a pessoas, processos e tecnologia”. Se eu tiver de resumir isso em uma mensagem-chave, seria: o DataOps trata da disponibilização dos dados para os consumidores da maneira mais eficiente possível. É a coordenação de pessoas, processos e tecnologia para entregar dados confiáveis e de alta qualidade aos usuários certos, onde e quando eles precisarem.
Por que precisamos do DataOps agora
O DataOps fornece respostas aos principais desafios do gerenciamento de dados com armazéns e lagos de dados, inteligência empresarial com dashboards e relatórios, além de ciência de dados com preparação e pipelines de dados. Ele simplifica processos, melhora a colaboração, aumenta a agilidade e a velocidade e estabelece uma cultura de melhoria contínua. Além disso, faz a ponte entre engenharia de dados, TI e empresas, garante relevância com ciclos de desenvolvimento curtos e leva à criação de pipelines de análise que mantêm o processo de ciência de dados flexível.
Uma resposta muito mais simples ao motivo pelo qual precisamos do DataOps agora é devido à Covid-19.
A pandemia acabou com todos os modelos e previsões que as empresas de TI já tiveram. Ela acentuou a noção de que as coisas podem mudar rapidamente, e, sem os dados na palma da mão, não é possível se adaptar rápido o suficiente para se adequar à realidade. No ano passado, muitas empresas descobriram que, embora tivessem os dados de que precisavam em algum lugar, seus sistemas não permitiam que fossem utilizados.
Leva semanas ou meses para as empresas obterem os dados de que precisam e então analisá-los. Isso não é bom. Não podemos levar meses, precisamos descobrir como levar apenas um dia. Esse é o grande desafio. Caso contrário, no momento em que os dados retornarem a um usuário ou parte interessada, eles não serão mais úteis e relevantes. O propósito original da coleta dos dados é perdido.
A combinação de pessoas, processos e tecnologia pode ajudar a solucionar esses problemas. O objetivo deve ser migrar para o autoatendimento, onde os dados estão prontamente disponíveis. Novamente, esse é o DataOps não como uma ferramenta nem como uma tecnologia, mas como um conceito. Trata-se de obter dados de sistemas de origem para usuários de destino com velocidade, enquanto for relevante, de modo facilmente consumível.
Como tornar o DataOps real
Embora algumas empresas possam dizer o contrário, o DataOps não nasce de uma hora para a outra. Existem desafios importantes a superar. É crucial fazer o seguinte:
1. Definir uma estratégia
Isso pode parecer óbvio, mas muitas empresas não contam com uma estratégia de DataOps. Na verdade, elas não tem nem mesmo a visão de começar a pensar em DataOps. Sem uma visão — e comprometimento da liderança — a empresa corre o risco de responder a uma propaganda exagerada em vez de analisar as necessidades do negócio. É crucial que as empresas adotem uma abordagem holística e definam uma estratégia de DataOps que funcione especificamente para cada organização.
2. Gerenciar a mudança com eficiência
Com o DataOps, é preciso conseguir mudar — e manter a mudança — muito rapidamente. Você só conseguirá fazer isso se tiver um gerenciamento de mudança de dados apropriado em vigor. Mesmo em empresas fortemente enraizadas em automação, a prática de gerenciamento de mudança e os pipelines de CI/CD para análises ainda são relativamente novos. Portanto, garanta que um gerenciamento de mudança eficaz esteja apropriadamente incorporado em sua organização e que esteja instituído para todos, inclusive para a liderança.
3. Integrar a segurança desde o início
Você não pode permitir que pessoas erradas obtenham acesso e monitorem os dados. Portanto, é preciso descobrir se os seus dados estão seguros, como a segurança deles é feita, onde e como eles estão disponíveis e se as pessoas certas têm os níveis de acesso corretos. Tudo isso precisa ser integrado desde o início.
4. Garantir dados de qualidade
É crucial conseguir observar os dados e lidar com problemas se eles mudarem. Para isso, muita coordenação é necessária, e a automação entra em jogo. É preciso garantir que a qualidade dos dados não caia e que você não tenha pessoas diferentes produzindo interpretações conflitantes dos mesmos dados. É preciso ser disciplinado sobre essa questão em nível organizacional fundamental e criar políticas e definições para reduzir erros e continuar se esforçando para reduzir o tempo de ciclo, simplificando e acelerando seus esforços.
5. Identificar a maturidade do DataOps
Poucas empresas têm maturidade nessa questão. Algumas estão mais à frente do que outras. Se fizermos uma análise, cada empresa estará situada em um determinado lugar em relação a automação, gerenciamento, colaboração e outros fatores. De forma geral, muitas estão à frente no quesito automação; muitas estão atrás no quesito intercolaboração, que é o que garante que os dados sejam compartilhados em toda a organização e que as pessoas certas tenham acesso. Descubra onde estão as deficiências da sua empresa e concentre‑se em corrigi‑las.
Antecipe-se ao DataOps
Quais são as principais dicas para fazer com que o DataOps funcione para você? Que conselho você deve seguir para incorporar esse conceito e cultura em tudo o que você faz?
Crie conscientização. Comece com os dados existentes e incentive todas as pessoas de sua organização, não apenas os analistas de negócios, a aproveitar os dados. Esse é o primeiro passo. Depois, utilize a automação da plataforma para diminuir o tempo necessário para colocar os dados em operação.
No decorrer do processo, garanta que os usuários entendem os dados e os valorizam. Então torne realidade para que eles possam trabalhar sozinhos. Vá além desses obstáculos iniciais e a sua empresa estará no caminho certo!
Acima de tudo, esqueça as propagandas em relação ao DataOps e as palavras da moda que estão sendo ditas por aí. Em vez disso, amarre tudo àquela simples mensagem sobre obter dados para seus usuários finais. Foque nos resultados. Pergunte-se: quais objetivos de negócios estamos tentando resolver? Tudo o mais se encaixará quando você tiver uma boa visão de como deseja usar os dados.
Cinco passos para o sucesso da modernização dos dados
About the Authors
Chief Architect - Data & AI
Nirmal Ranganathan
Nirmal Ranganathan is the Chief Architect – Data & AI at Rackspace Technology and responsible for technology strategy and roadmap for Rackspace's Public Cloud Data & AI solutions portfolio, working closely with customers, alliances and partners. Nirmal has worked with data over the past 2 decades, solving distributed systems challenges dealing with large volumes of data, being a customer advocate and helping customers solve their data challenges. Nirmal consults with customers around large-scale databases, data processing, data analytics and data warehousing in the cloud, providing solutions for innovative use cases across industries leveraging AI and Machine Learning.
Read more about Nirmal RanganathanRelated Topics