A evolução das cadeias de fornecimento de dados empresariais

Com uma cadeia de fornecimento de dados em crescimento, as empresas devem aperfeiçoar a forma como abordam os dados, reavaliando a estratégia de dados e tirando partido de arquitecturas de dados modernas para criar, utilizar e manter cadeias de fornecimento de dados eficazes.

Os dados nunca foram tão essenciais para o negócio, mas muitas empresas ficam para trás quando se trata de enfrentar alguns desafios comuns em matéria de dados. Com mais acesso do que nunca a dados externos úteis, muitas empresas não dispõem dos processos necessários para tirar partido das informações externas de uma forma útil. A tónica continua a ser colocada na infraestrutura de dados , em vez de nos produtos .

Vamos definir "cadeias de abastecimento de dados"

Imagine que os dados são semelhantes às matérias-primas utilizadas no fabrico. Nesta analogia, os dados em bruto estão a ser preparados para análise, ou seja, estão a ser transformados de matéria-prima num produto. Neste caso, está a passar de um estado bruto, como parte dos sistemas de origem, para um estado mais refinado, a fim de alimentar a análise avançada e as aplicações inteligentes.

Enquanto a gestão da cadeia de abastecimento segue o movimento de bens e serviços, as cadeias de abastecimento de dados seguem a linhagem, começando na fonte de origem dos dados. Após a extração dos dados, estes são submetidos a um processo de enriquecimento. Ao dispor os dados em várias fontes de informação, catalogando-os e anotando-os, estes ficam disponíveis num formato pesquisável, ao qual o utilizador final pode aceder, consultá-los e utilizá-los para fins comerciais. Finalmente, os dados podem ser consumidos como um produto de dados, como um data mart financeiro, cliente ou produto 360, etc.

Como é que consegue gerir tudo isto?

No passado, os dados provinham maioritariamente dos sistemas de dados operacionais (SDO). Trata-se de dados gerados a partir de sistemas de gestão das relações com os clientes (CRM) e de planeamento de recursos empresariais (ERP) ou de outros produtos que servem as empresas como sistemas transaccionais, tais como produtos de base, gestão da força de trabalho, sistemas de retalho ou de pontos de venda, registos de doentes, contratos, etc.

Esta costumava ser a utilização predominante dos dados: um punhado de sistemas de origem ingeria dados num repositório central. As equipas utilizariam então esses dados à medida que estivessem disponíveis no grande repositório - frequentemente um armazém de dados.

A evolução para cadeias de abastecimento de dados multicloud e multimodais

A utilização de dados mudou nos últimos cinco a sete anos, especialmente na sequência da pandemia. Já não é suficiente para uma empresa utilizar apenas os dados que gera internamente. Isto está a levar as organizações a repensar as suas cadeias de fornecimento de dados. Atualmente, as empresas consideram dois modelos de fornecimento de dados: direto e indireto. O modelo direto baseia-se em conjuntos de dados internos e externos de terceiros, enquanto o modelo indireto utiliza factores ambientais, comportamentos, influências e conjuntos de dados sintéticos.

• Direto:
  • Dados primários são recolhidos diretamente através de CRM, ERP, dispositivos do utilizador final e outros sistemas internos de registo.
  • Dados de terceiros são recolhidos de parceiros, fornecedores e dispositivos de consumidores.
  • Dados de terceiros, são recolhidos a partir de históricos de compras, listas de informações de clientes, dados de mercado, dados económicos, etc.
• Indireta:
  • Dados causais é uma coleção de pontos de dados que podem enriquecer os modelos de dados existentes. Por exemplo, dados relacionados com factores contributivos externos, meteorologia como indicador do sentimento do cliente, demografia, redes sociais, tendências, etc.
  • Dados sintéticos descreve dados simulados e gerados automaticamente. Por exemplo, os simuladores de veículos autónomos necessitam de volumes de dados que não estão imediatamente disponíveis e de possíveis cenários do mundo real que não foram captados. Outra área fundamental é a das redes adversariais generativas (GAN), em que uma rede generativa gera pontos de dados enquanto uma rede discriminativa os avalia até ao ponto em que os dados se tornam indistinguíveis dos pontos de dados do mundo real. Esta aplicação é útil em ambientes com restrições de privacidade e em modelos de IA, onde pode ajudar a evitar preconceitos.

Como é que as organizações se devem adaptar a esta evolução?

Atualmente, as necessidades da empresa estão muito mais interligadas - não só dentro da empresa, mas também entre fornecedores, produtores e consumidores. As organizações estão a adotar rapidamente a multicloud, com os tipos de carga de trabalho como critérios de facto para escolher uma cloud. As aplicações estão cada vez mais distribuídas pelas nuvens e a cadeia de fornecimento de dados tende invariavelmente para a multicloud.

A mudança para SaaS para aplicações empresariais também teve impacto na fiabilidade da sua cadeia de fornecimento, que agora se estende para fora da sua organização para fornecedores SaaS terceiros. A integração com um fornecedor de SaaS cria um modelo push and pull em que os dados diretos provêm da aplicação SaaS, são enriquecidos e os dados principais são reenviados para as aplicações SaaS. Por exemplo, sabemos que as vendas a retalho diminuem normalmente durante os períodos de mau tempo. A integração desses dados nos controlos de inventário é crucial para manter a estabilidade e a longevidade das empresas retalhistas.

As tendências da cadeia de fornecimento de dados são também cada vez mais afectadas pelas inovações tecnológicas que tornam os dados mais facilmente disponíveis. É aqui que entram em jogo os conceitos de partilha de dados e o acesso mais fácil a conjuntos de dados selecionados - tanto adquiridos como de fonte aberta (também conhecidos como produtos de dados).

A partilha de dados é cada vez mais comum. É aqui que os dados são preparados por empresas terceiras, parceiros, fornecedores e depois disponibilizados através de fornecedores de dados como serviço, como a Snowflake e a Databricks. Os intercâmbios de dados internos e os mercados partilham estes produtos de dados preparados entre unidades empresariais para aumentar a velocidade de colaboração.

Embora a sua cadeia de abastecimento possa estar a explodir, no caso da partilha de dados, as suas cadeias de abastecimento estão a implodir porque está a reduzir o tempo e a complexidade da criação de condutas de dados adicionais. Em vez de enviar dados de um local para outro e depois integrá-los, pode agora transformar os seus dados sem qualquer movimento de dados.

Como podemos tirar partido? 

Há quinze anos, os dados que uma empresa explorava viviam inteiramente dentro dessa empresa. As empresas puderam aceder rapidamente aos dados e criar e aproveitar pontos de dados para criar produtos digitais.

Atualmente, os dados da empresa estão distribuídos por várias nuvens e aplicações SaaS. Os dados internos, por si só, não são suficientes para permitir melhores decisões. Em vez disso, vai basear-se mais em dados externos - informações dos seus parceiros globais, fornecedores e consumidores - e em dados causais que interpretam o ambiente que rodeia o que vende e a quem vende.

Tendo em conta estas alterações, como é que se criam arquitecturas adequadas para manter uma cadeia de fornecimento de dados em crescimento? Eis um ponto de partida: Analisar novamente com atenção a forma como a sua organização aborda a sua estratégia de dados. Deve ter em conta a expansão da cadeia de fornecimento de dados para tirar partido das três formas de conjuntos de dados diretos (dados primários, secundários e de terceiros) e aumentar a adoção de conjuntos de dados indirectos, como os dados causais e sintéticos. A partir daí, pode criar e aproveitar arquitecturas de dados e padrões de integração de dados mais modernos, mantendo a concentração nos dados mais importantes para uma empresa.

Join the Conversation: Find Solve on Twitter and LinkedIn, or follow along via RSS.

Stay on top of what's next in technology

Learn about tech trends, innovations and how technologists are working today.