{"id":9331,"date":"2022-08-23T15:32:38","date_gmt":"2022-08-23T18:32:38","guid":{"rendered":"https:\/\/geoblog.mkwebb.com.br2\/?p=9331"},"modified":"2025-04-02T14:13:59","modified_gmt":"2025-04-02T17:13:59","slug":"como-usar-o-bigquery-para-acessar-todos-os-dados-da-companhia-de-forma-centralizada","status":"publish","type":"post","link":"https:\/\/geoambiente.com.br\/blog\/como-usar-o-bigquery-para-acessar-todos-os-dados-da-companhia-de-forma-centralizada\/","title":{"rendered":"Como usar o BigQuery para acessar dados de forma centralizada?"},"content":{"rendered":"\r\n

O caminho para uma empresa se tornar data-driven<\/strong>, e conseguir extrair valores dos milhares de dados dispon\u00edveis, \u00e9 a cria\u00e7\u00e3o de um ecossistema capaz de processar dados de forma hol\u00edstica. Para alavancar uma estrat\u00e9gia de dados, essa arquitetura deve incluir o Data lake<\/strong> (onde s\u00e3o armazenados todos os dados brutos e n\u00e3o tratados), Data warehouse<\/strong> (onde s\u00e3o armazenados todos os dados tratados) e o Data mart (<\/strong>armazenamento de dados que v\u00e3o suprir relat\u00f3rios e vis\u00f5es).<\/p>\r\n\r\n\r\n\r\n

Essas tecnologias s\u00e3o encaradas como sistemas separados, por\u00e9m, a tend\u00eancia \u00e9 cada vez mais as linhas que as distinguem se fundam. A Plataforma Google Cloud <\/strong>disponibiliza solu\u00e7\u00f5es especializadas para data lake e data warehouse, mas aposta na converg\u00eancia entre os dois sistemas em um futuro bem pr\u00f3ximo. Essa combina\u00e7\u00e3o \u00e9 denominada de \u201cplataforma de dados anal\u00edticos\u201d pela provedora de nuvem.<\/p>\r\n\r\n\r\n\r\n

Isso quer dizer que em vez de escolher entre um data lake ou data warehouse, as organiza\u00e7\u00f5es podem optar por uma solu\u00e7\u00e3o de ponta a ponta que realiza o gerenciamento de dados e est\u00e1gios de processamento, da coleta \u00e0 an\u00e1lise de dados e aprendizado de m\u00e1quina<\/strong>. Essa plataforma de \u00e9 capaz de armazenar grandes quantidades de dados em diversos formatos variados sem impactar na lat\u00eancia. Entenda a seguir como ela funciona.<\/p>\r\n\r\n\r\n\r\n

Leia mais: <\/strong>Data Cloud: 4 raz\u00f5es para analisar os dados do seu neg\u00f3cio na nuvem do Google e conquistar vantagem competitiva<\/a><\/p>\r\n\r\n\r\n\r\n

A inova\u00e7\u00e3o que permite criar um ecossistema abrangente de dados<\/h2>\r\n\r\n\r\n\r\n

O Data Lake \u00e9 o sistema que re\u00fane dados brutos e processados, formando um reposit\u00f3rio centralizado de dados gerados por toda a organiza\u00e7\u00e3o. O processamento pode ser feito em tr\u00e2nsito via ELT, reduzindo a necessidade de copiar conjuntos de dados entre sistemas, o que simplifica a explora\u00e7\u00e3o de dados e a governan\u00e7a.<\/p>\r\n\r\n\r\n\r\n

J\u00e1 o Data Warehouse<\/a><\/strong> armazena os dados em uma \u00fanica fonte, fazendo c\u00f3pias m\u00ednimas dos dados. Essa arquitetura oferece armazenamento de baixo custo em um formato aberto acess\u00edvel por uma variedade de mecanismos de processamento, al\u00e9m de fornecer recursos avan\u00e7ados de gerenciamento e otimiza\u00e7\u00e3o. Seguran\u00e7a e governan\u00e7a consistentes s\u00e3o essenciais nesse ambiente. Por fim, o data mart \u00e9 projetado para separar atividades orientadas por dados e por modelo, ou seja, segmentados. Os dados integrados ao data warehouse permitem o carregamento paralelo para facilitar o dimensionamento de grandes implementa\u00e7\u00f5es.<\/p>\r\n\r\n\r\n\r\n

A vantagem oferecida pela Google Cloud \u00e9 a possibilidade de integrar as duas solu\u00e7\u00f5es. Devido \u00e0 interoperabilidade entre o portf\u00f3lio de produtos de an\u00e1lise de dados da GCP, \u00e9 poss\u00edvel fornecer o f\u00e1cil acesso aos dados hospedados em locais diferentes, reunindo efetivamente seu data lake e data warehouse em uma \u00fanica plataform<\/strong>a.<\/p>\r\n\r\n\r\n\r\n

A API de armazenamento do BigQuery <\/strong>\u00e9 uma das inova\u00e7\u00f5es do Google Cloud que tornam isso poss\u00edvel. Ela possibilita tratar um data warehouse como um data lake, permitindo que voc\u00ea acesse os dados que residem no BigQuery da Google Cloud.<\/p>\r\n\r\n\r\n\r\n

Mas o que \u00e9 o BigQuery?<\/strong> \u00c9 a solu\u00e7\u00e3o de armazenamento de dados na nuvem sem servidor, altamente escalon\u00e1vel e econ\u00f4mico, do Google Cloud. Oferece an\u00e1lises em escala de petabytes para facilitar consultas SQL em grandes conjuntos de dados gra\u00e7as ao poder de processamento da infraestrutura do Google. Assim, ele elimina a etapa de provisionamento de recursos, sem contar que a infraestrutura sem servidores oferecida pelo Google realiza toda manuten\u00e7\u00e3o relacionada a atualiza\u00e7\u00f5es, al\u00e9m de utilizar escalonamento autom\u00e1tico e agilizar o streaming de dados.<\/p>\r\n\r\n\r\n\r\n

Dessa forma, o BigQuery <\/strong>acaba desempenhando tr\u00eas fun\u00e7\u00f5es fundamentais em um projeto de dados: data lake<\/a><\/strong>, data warehouse e data mart. A uni\u00e3o dessas tr\u00eas arquiteturas, essenciais a um projeto de dados, em um \u00fanico lugar (BigQuery), reflete em dados mais consistentes, facilidade no tratamento de dados e agilidade na realiza\u00e7\u00e3o de consultas SQL.<\/p>\r\n\r\n\r\n\r\n

Por exemplo, voc\u00ea pode usar o Dataform, uma ferramenta para transforma\u00e7\u00e3o de dados baseado em SQL (SQLX), que basicamente transforma os dados brutos em dados estruturados para que sejam utilizados no data warehouse. Ela permite a realiza\u00e7\u00e3o de testes em dados para garantir a qualidade dos mesmos e o poder computacional do pr\u00f3prio BigQuery para realizar transforma\u00e7\u00f5es, sem necessidade de servidor.<\/p>\r\n\r\n\r\n\r\n

Voc\u00ea tamb\u00e9m pode usar a ferramenta Spark para acessar dados que residem no data warehouse sem afetar o desempenho de qualquer outro trabalho que o acesse. Isso \u00e9 poss\u00edvel gra\u00e7as \u00e0 arquitetura subjacente, que separa computa\u00e7\u00e3o e armazenamento. Da mesma forma, o Dataplex<\/a>, servi\u00e7o de malha de dados inteligente, oferece recursos de seguran\u00e7a e governan\u00e7a de dados em v\u00e1rios n\u00edveis de armazenamento de Lakehouse criados no GCS e no BigQuery.<\/p>\r\n\r\n\r\n\r\n

Leia mais: <\/strong>BigQuery: conhe\u00e7a as novas capacidades de an\u00e1lise de dados n\u00e3o estruturados e de streaming no Google Cloud<\/a><\/p>\r\n\r\n\r\n\r\n

Vantagens de usar o BigQuery como plataforma de dados:<\/h2>\r\n\r\n\r\n\r\n