{"id":11203,"date":"2023-09-18T11:49:24","date_gmt":"2023-09-18T14:49:24","guid":{"rendered":"https:\/\/geoblog.mkwebb.com.br2\/?p=11203"},"modified":"2025-04-02T14:12:39","modified_gmt":"2025-04-02T17:12:39","slug":"google-cloud-conheca-as-solucoes-de-ingestao-e-coleta-de-dados-da-plataforma","status":"publish","type":"post","link":"https:\/\/geoambiente.com.br\/blog\/google-cloud-conheca-as-solucoes-de-ingestao-e-coleta-de-dados-da-plataforma\/","title":{"rendered":"Domine a ingest\u00e3o de dados com Google Cloud"},"content":{"rendered":"\r\n

A ingest\u00e3o de dados (ou data ingestion, em ingl\u00eas) \u00e9 um est\u00e1gio fundamental na jornada de maturidade anal\u00edtica de uma empresa. \u00c9 nessa fase em que o conceito de Big Data toma forma nas organiza\u00e7\u00f5es: um grande volume de dados de diversas fontes (internas e externas) s\u00e3o capturados em tempo real e transferidos para armazenamento na nuvem ou on-premise.\u00a0<\/span><\/p>\r\n

A partir da ingest\u00e3o de dados, empresas conseguem transform\u00e1-los e interpret\u00e1-los para habilitar decis\u00f5es data-driven. O Google Cloud \u00e9 uma plataforma l\u00edder de mercado que viabiliza a ingest\u00e3o de dados na nuvem de forma segura e eficiente.\u00a0<\/span><\/p>\r\n

Entenda a seguir como funciona esta etapa inicial do ciclo de vida dos dados e veja como as solu\u00e7\u00f5es do Google Cloud otimizam as opera\u00e7\u00f5es de ingest\u00e3o e coleta de dados para alavancar sua <\/span>jornada data-driven<\/span><\/a>.<\/span><\/p>\r\n<\/span>\r\n

O que \u00e9 Ingest\u00e3o de Dados?<\/b><\/span><\/h2>\r\n<\/span>\r\n

Os engenheiros de dados criam pipelines que acessam dados para atender \u00e0s necessidades dos neg\u00f3cios. Esses dados podem vir de fontes internas ou externas, em diferentes formatos, como v\u00eddeo, voz, imagem e outros. Seja para construir um relat\u00f3rio de <\/span>business intelligence<\/span><\/a> ou modelo de machine learning, os pipelines de dados facilitam o processo de data analytics.<\/span><\/p>\r\n

Assim, os pipelines de dados s\u00e3o os fluxos que envolvem coleta, transforma\u00e7\u00e3o e armazenamento dos dados a serem exibidos aos times de neg\u00f3cios em diversos projetos. Cada organiza\u00e7\u00e3o tem sua pr\u00f3pria maneira de trabalhar com pipelines, mas, no geral, um pipeline de dados t\u00edpico possui quatro etapas: ingest\u00e3o de dados, armazenamento, processamento\/an\u00e1lise e visualiza\u00e7\u00e3o\/explora\u00e7\u00e3o.<\/span><\/p>\r\n

Tudo come\u00e7a pela ingest\u00e3o de dados, ou seja, o est\u00e1gio onde os dados s\u00e3o capturados de diversas fontes e transferidos para armazenamento na nuvem ou on-premise. A ingest\u00e3o de dados \u00e9 uma etapa cr\u00edtica e fundamental para a constru\u00e7\u00e3o de um pipeline de dados. \u00c9 a fase em que os dados s\u00e3o lidos de diversas fontes.\u00a0<\/span><\/p>\r\n

Geralmente, a ingest\u00e3o pode ocorrer em lotes (envio em lote de dados) ou por streaming (ingest\u00e3o cont\u00ednua de dados provenientes de uma fonte de streaming). Entenda a seguir:<\/span><\/p>\r\n\r\n\r\n\r\n\r\n\r\n
\r\n

Tipos de ingest\u00e3o de dados<\/strong><\/p>\r\n<\/td>\r\n

\r\n

Descri\u00e7\u00e3o<\/strong><\/p>\r\n<\/td>\r\n<\/tr>\r\n

\r\n

Ingest\u00e3o em lotes (envio de dados em lote)<\/span><\/p>\r\n<\/td>\r\n

\r\n

Define os registros e os extrai como um grupo, sendo um processo sequencial, os registros s\u00e3o processados de acordo com crit\u00e9rios definidos pelos desenvolvedores<\/span><\/p>\r\n<\/td>\r\n<\/tr>\r\n

\r\n

Ingest\u00e3o por streaming (ingest\u00e3o cont\u00ednua de dados provenientes de uma fonte de streaming)<\/span><\/p>\r\n<\/td>\r\n

\r\n

Transfere automaticamente os registros individuais, um por um. Muitas organiza\u00e7\u00f5es usam streaming apenas quando precisam de dados quase em tempo real para uso em aplicativos ou an\u00e1lises.<\/span><\/p>\r\n<\/td>\r\n<\/tr>\r\n<\/tbody>\r\n<\/table>\r\n<\/span>\r\n

M\u00e9todos de Ingest\u00e3o de Dados na Google Cloud<\/b><\/span><\/h2>\r\n

A etapa de coleta de dados e ingest\u00e3o de dados \u00e9 onde as diferentes fontes de informa\u00e7\u00e3o s\u00e3o identificadas e unificadas. Essas fontes podem ser as mais diversas de acordo com cada situa\u00e7\u00e3o. Por exemplo, podemos capturar logs gerados por uma aplica\u00e7\u00e3o que rode em VM no Compute Engine, ou por meio de uma API de entrada de dados que esteja executando em Cloud Run, ou at\u00e9 mesmo jobs que estejam no Cloud Run Jobs ou Cloud Function.<\/span><\/p>\r\n

O Google Cloud Platform<\/strong> oferece v\u00e1rios servi\u00e7os de ingest\u00e3o para carregar em lote ou transmitir dados de fontes diferentes e criar pipelines conforme necess\u00e1rio:<\/span><\/p>\r\n

Uso de APIs no provedor de dados:<\/b><\/h4>\r\n

Extraia dados de APIs em escala usando inst\u00e2ncias do Compute Engine (m\u00e1quinas virtuais) ou <\/span>Kubernetes<\/span><\/a>.<\/span><\/p>\r\n

Streaming em tempo real:<\/b><\/h4>\r\n

O streaming de dados em tempo real pode ser realizado com o Cloud Pub\/Sub<\/a>, recurso de mensageria do Google Cloud.<\/span><\/p>\r\n

Grande volume de dados no local:<\/b><\/h4>\r\n

Pode ser realizado com o Google Transfer Appliance ou o GCP Online Transfer, dependendo do volume de dados.<\/span><\/p>\r\n

Grande volume de dados em outros provedores de nuvem:<\/b><\/h4>\r\n

A ferramenta Cloud Storage Transfer Service \u00e9 ideal para a ingest\u00e3o de dados em outros provedores de nuvem.<\/span><\/p>\r\n<\/span>\r\n

Ferramentas de Transfer\u00eancia de Dados da Google Cloud<\/b><\/span><\/h2>\r\n

Conhe\u00e7a as tr\u00eas ferramentas principais de transfer\u00eancia de dados da Google Cloud Platform<\/strong>:<\/span><\/p>\r\n