Kann man ein erfolgreicher Big Data-Architekt werden, ohne Data Science zu lernen? Was ist der Unterschied zwischen Big Data-Architekt und Datenwissenschaftler?


Antwort 1:

Vielen Dank für die vielen A2As! :) :)

Dies sind meine persönlichen Erfahrungen in dieser Angelegenheit.

Bei Miniclip haben wir ein Data Science-Team und ein Data Engineering-Team. Das Data Engineering-Team kümmert sich um alle Big-Data-Aufgaben. Mit der Arbeit könnte das Data Science-Team es schaffen, aber wir würden es schlimmer und langsamer machen ... das wollen wir nicht! :) :)

Das Data Engineering-Team muss sich nicht wirklich mit den spezifischen Kenntnissen des Data Science-Teams befassen. Sie kennen sich jedoch mit maschinellem Lernen aus und in größeren automatisierten Datenprojekten arbeiten wir zusammen.

Meiner Meinung nach können Sie also ein erfolgreicher Big-Data-Architekt / Ingenieur ohne Data Science werden, dh ohne das Domänen- / Algorithmuswissen, das Unternehmen von Data Scientists benötigen. Sie sind jedoch ein viel besserer Dateningenieur, wenn Sie es in die Hände bekommen.


Antwort 2:

Stimme Marcin zu. Datenwissenschaftler können die Big-Data-Infrastruktur eines Big-Data-Architekten nutzen. IMO, einige der wichtigsten Überlegungen, die ein Big-Data-Architekt kennen sollte, sind die folgenden, zu denen Data Analytics / Science gehört (Punkt 3 unten):

1) Datenaufnahme - Batch & Streaming

2) Datenspeicherung - Verteilte Speicherung, NoSQL

3) Processing & Analytics ** - Stapelverarbeitung, Stream-Verarbeitung, Analyse. Hier sollte der Big-Data-Architekt zumindest über die verfügbaren Analysetools / API Bescheid wissen, um sie empfehlen und in die Big-Data-Infrastruktur aufnehmen zu können (basierend auf den Anwendungsfällen von Unternehmen und den Präferenzen von Datenwissenschaftlern). Einige der Faktoren, die in einem Tool zur Aktivierung eines Datenwissenschaftlers berücksichtigt werden müssen, sind: verfügbare Algorithmen, Unterstützung der Muttersprache, Konnektivität mit der Big Data-Umgebung, Datenanalysefunktionen, Datenprofilerstellung usw.

4) Verbrauch - Batch- oder Stream-Verbrauch

5) Hardwarebedarf für verschiedene Komponenten der verteilten Big Data-Umgebung

6) Betriebsanforderungen der Big Data-Umgebung


Antwort 3:

Stimme Marcin zu. Datenwissenschaftler können die Big-Data-Infrastruktur eines Big-Data-Architekten nutzen. IMO, einige der wichtigsten Überlegungen, die ein Big-Data-Architekt kennen sollte, sind die folgenden, zu denen Data Analytics / Science gehört (Punkt 3 unten):

1) Datenaufnahme - Batch & Streaming

2) Datenspeicherung - Verteilte Speicherung, NoSQL

3) Processing & Analytics ** - Stapelverarbeitung, Stream-Verarbeitung, Analyse. Hier sollte der Big-Data-Architekt zumindest über die verfügbaren Analysetools / API Bescheid wissen, um sie empfehlen und in die Big-Data-Infrastruktur aufnehmen zu können (basierend auf den Anwendungsfällen von Unternehmen und den Präferenzen von Datenwissenschaftlern). Einige der Faktoren, die in einem Tool zur Aktivierung eines Datenwissenschaftlers berücksichtigt werden müssen, sind: verfügbare Algorithmen, Unterstützung der Muttersprache, Konnektivität mit der Big Data-Umgebung, Datenanalysefunktionen, Datenprofilerstellung usw.

4) Verbrauch - Batch- oder Stream-Verbrauch

5) Hardwarebedarf für verschiedene Komponenten der verteilten Big Data-Umgebung

6) Betriebsanforderungen der Big Data-Umgebung