Was ist der Unterschied zwischen einem Big Data-Ingenieur, einem Dateningenieur und einem Data-Warehouse-Ingenieur?


Antwort 1:

Die Jobrollen:

Sie können die Unterschiede leicht überprüfen, wenn Sie sich anmelden oder anmelden (LinkedIn), zum Beispiel:

Data Warehouse-Ingenieur

  • Top-Kenntnisse: Data Warehousing & Datenbanken, ETL, Datenmodellierung, BILanguages: SQLSalary: 110.738 USD / Jahr (Jobsuche | in der Tat für die USA), 133.000 USD / Jahr (leitende Position in den USA, PayScale - Gehaltsvergleich, Gehaltsumfrage, Suchlöhne ) Top-Unternehmen: IBM, Microsoft, Amazon, Oracle, Tata Consultancy Services
  • Baseline: Unterstützung für Entwickler, Analysten, Datenwissenschaftler usw. bei der Interaktion mit DW / BI-Systemen. Pflegen Sie die DW / BI-Infrastruktur, einschließlich Leistungsoptimierung, Überwachung der Datenintegrität, Kapazitätsmanagement und Zuverlässigkeitsmanagement.

Dateningenieur

  • Top-Kenntnisse: Big Data, maschinelles Lernen, Datenmodellierung, ETL, Data Warehousing-Lösungen und -DatenbankenSprachen: Hadoop, Python, SQL, Java, Spark, Hive, ScalaGehalt: 107.000 USD / Jahr (Anmelden oder Registrieren (LinkedIn)), 90.286 USD / Jahr (Durchschnittsgehalt, PayScale - Gehaltsvergleich, Gehaltsumfrage, Suchlöhne) Top-Unternehmen: IBM, Microsoft, Amazon, Cisco, Google
  • Basis: Entwicklung, Konstruktion, Test und Wartung von großen Verarbeitungssystemen; empfehlen und implementieren Möglichkeiten zur Verbesserung der Zuverlässigkeit, Effizienz und Qualität von Daten, damit Datenwissenschaftler die Daten möglicherweise massieren können, um daraus Erkenntnisse zu gewinnen.

Was das oben genannte bedeutet:

  • Die „Top-Fähigkeiten“ eines Dateningenieurs bestätigen die Tatsache, dass die Titel „Big Data Engineer“ und „Data Engineer“ im Grunde gleich / austauschbar sind, genau wie Sean McClure es erwähnt hat. Es gibt deutliche Unterschiede in den Fähigkeiten, die von Dateningenieuren erwartet werden Gegenwärtig gibt es eine größere Nachfrage nach „Data Engineers“ als nach „Data Warehouse Engineers“. Data Warehouse Engineers scheinen einen leichten Vorteil in Bezug auf das Gehalt zu haben. Information Technology & Services ist die erste Adresse Industrie für diese Jobs :)

Was ist dann der Unterschied?

Wenn Sie alle oben genannten Daten und Schlussfolgerungen verwenden, können Sie auch bestätigen, was andere zuvor gesagt haben. Die Rolle des Data Warehousing-Ingenieurs stammt noch aus der Zeit, als „SQL- und mehrdimensionale Datenspeicher verwaltet wurden, z Nur Batch-Operationen und mit einer zentralisierten Architektur “oder wo„ wenn das primäre Ziel darin bestand, Daten aus unterschiedlichen Quellen zu aggregieren, um Geschäftsfragen zu „beantworten“ “, wie andere angegeben haben.

Die Rolle des Dateningenieurs ist dann ein neuerer Begriff, der mehr Ziele verfolgt: "Arbeiten mit No-SQL-Technologien, ähnlich wie das Data-Warehouse-Konzept mit hauptsächlich Batch-Operationen, aber das Potenzial für Echtzeit-Steams mit einer stark verteilten Architektur."


Antwort 2:

Big Data Engineer und Data Engineer sind austauschbar. Wenn Sie ein Dateningenieur sind und nicht mit „großen“ Daten arbeiten, bin ich mir nicht sicher, was Sie tun. Dies bedeutet nicht, dass Daten in Bezug auf Bytes „groß“ sein müssen, sondern nur, dass Menschen, die „Big Data“ sagen, wirklich alle ihre Daten in etwas Nützliches umwandeln müssen. Das bedeutet, dass Dateningenieure dafür verantwortlich sind, die maschinellen Lernmodelle des Data Scientist in die Produktion zu bringen, da ohne Modelle nur Daten gespeichert werden. Das Sammeln und Verwalten von Daten ist nicht sehr wertvoll, wenn Sie nichts damit anfangen. Ursprünglich war es genug, um sicherzustellen, dass Ihre äußerst beliebte Website nicht abstürzt, aber in der heutigen Informationswirtschaft ist eine krisenlose Website keine Innovation, sondern nur zu erwarten. Ein Big Data Engineer und ein Data Engineer sind also ein und dasselbe.

Was den Data Warehouse Engineer betrifft, stelle ich mir vor, dass dies ein weniger verbreiteter Begriff wird. Data Warehousing wurde in den Tagen von Business Intelligence (BI) populär, als das Hauptziel darin bestand, Daten aus unterschiedlichen Quellen zu aggregieren, um Geschäftsfragen zu „beantworten“. Während die Datenaggregation im Unternehmen nach wie vor ein wichtiges Ziel darstellt, liegt der Schwerpunkt eher auf Ansätzen im „Data Lake“ -Stil, bei denen die Speicherung und Zuordnung von Daten wesentlich weniger Einschränkungen unterliegt. Davon abgesehen sind Data Warehouse-Ingenieure für die ETL-Verarbeitung und Datenmodellierung verantwortlich. Aufgaben, die trotz des Traums des Analysten, Daten in unstrukturierter Form zu speichern und zu analysieren, immer noch gefragt sind.

Big Data Engineer und Data Engineer sind also gleich. Jemand, der dafür verantwortlich ist, Modelle für maschinelles Lernen in die Produktion zu bringen. Sie arbeiten mit Data Scientists zusammen, um sicherzustellen, dass Modelle skalierbar sind und bei Bedarf Einblicke und Vorhersagen liefern können. Der Data Warenouse Engineer unterstützt mehr BI-bezogene Anwendungen wie Dashboards und Berichte. Diejenigen, die sich für das Engineering datengesteuerter Lösungen im heutigen Unternehmen interessieren, konzentrieren sich normalerweise auf Data Engineering.


Antwort 3:

Big Data Engineer und Data Engineer sind austauschbar. Wenn Sie ein Dateningenieur sind und nicht mit „großen“ Daten arbeiten, bin ich mir nicht sicher, was Sie tun. Dies bedeutet nicht, dass Daten in Bezug auf Bytes „groß“ sein müssen, sondern nur, dass Menschen, die „Big Data“ sagen, wirklich alle ihre Daten in etwas Nützliches umwandeln müssen. Das bedeutet, dass Dateningenieure dafür verantwortlich sind, die maschinellen Lernmodelle des Data Scientist in die Produktion zu bringen, da ohne Modelle nur Daten gespeichert werden. Das Sammeln und Verwalten von Daten ist nicht sehr wertvoll, wenn Sie nichts damit anfangen. Ursprünglich war es genug, um sicherzustellen, dass Ihre äußerst beliebte Website nicht abstürzt, aber in der heutigen Informationswirtschaft ist eine krisenlose Website keine Innovation, sondern nur zu erwarten. Ein Big Data Engineer und ein Data Engineer sind also ein und dasselbe.

Was den Data Warehouse Engineer betrifft, stelle ich mir vor, dass dies ein weniger verbreiteter Begriff wird. Data Warehousing wurde in den Tagen von Business Intelligence (BI) populär, als das Hauptziel darin bestand, Daten aus unterschiedlichen Quellen zu aggregieren, um Geschäftsfragen zu „beantworten“. Während die Datenaggregation im Unternehmen nach wie vor ein wichtiges Ziel darstellt, liegt der Schwerpunkt eher auf Ansätzen im „Data Lake“ -Stil, bei denen die Speicherung und Zuordnung von Daten wesentlich weniger Einschränkungen unterliegt. Davon abgesehen sind Data Warehouse-Ingenieure für die ETL-Verarbeitung und Datenmodellierung verantwortlich. Aufgaben, die trotz des Traums des Analysten, Daten in unstrukturierter Form zu speichern und zu analysieren, immer noch gefragt sind.

Big Data Engineer und Data Engineer sind also gleich. Jemand, der dafür verantwortlich ist, Modelle für maschinelles Lernen in die Produktion zu bringen. Sie arbeiten mit Data Scientists zusammen, um sicherzustellen, dass Modelle skalierbar sind und bei Bedarf Einblicke und Vorhersagen liefern können. Der Data Warenouse Engineer unterstützt mehr BI-bezogene Anwendungen wie Dashboards und Berichte. Diejenigen, die sich für das Engineering datengesteuerter Lösungen im heutigen Unternehmen interessieren, konzentrieren sich normalerweise auf Data Engineering.


Antwort 4:

Big Data Engineer und Data Engineer sind austauschbar. Wenn Sie ein Dateningenieur sind und nicht mit „großen“ Daten arbeiten, bin ich mir nicht sicher, was Sie tun. Dies bedeutet nicht, dass Daten in Bezug auf Bytes „groß“ sein müssen, sondern nur, dass Menschen, die „Big Data“ sagen, wirklich alle ihre Daten in etwas Nützliches umwandeln müssen. Das bedeutet, dass Dateningenieure dafür verantwortlich sind, die maschinellen Lernmodelle des Data Scientist in die Produktion zu bringen, da ohne Modelle nur Daten gespeichert werden. Das Sammeln und Verwalten von Daten ist nicht sehr wertvoll, wenn Sie nichts damit anfangen. Ursprünglich war es genug, um sicherzustellen, dass Ihre äußerst beliebte Website nicht abstürzt, aber in der heutigen Informationswirtschaft ist eine krisenlose Website keine Innovation, sondern nur zu erwarten. Ein Big Data Engineer und ein Data Engineer sind also ein und dasselbe.

Was den Data Warehouse Engineer betrifft, stelle ich mir vor, dass dies ein weniger verbreiteter Begriff wird. Data Warehousing wurde in den Tagen von Business Intelligence (BI) populär, als das Hauptziel darin bestand, Daten aus unterschiedlichen Quellen zu aggregieren, um Geschäftsfragen zu „beantworten“. Während die Datenaggregation im Unternehmen nach wie vor ein wichtiges Ziel darstellt, liegt der Schwerpunkt eher auf Ansätzen im „Data Lake“ -Stil, bei denen die Speicherung und Zuordnung von Daten wesentlich weniger Einschränkungen unterliegt. Davon abgesehen sind Data Warehouse-Ingenieure für die ETL-Verarbeitung und Datenmodellierung verantwortlich. Aufgaben, die trotz des Traums des Analysten, Daten in unstrukturierter Form zu speichern und zu analysieren, immer noch gefragt sind.

Big Data Engineer und Data Engineer sind also gleich. Jemand, der dafür verantwortlich ist, Modelle für maschinelles Lernen in die Produktion zu bringen. Sie arbeiten mit Data Scientists zusammen, um sicherzustellen, dass Modelle skalierbar sind und bei Bedarf Einblicke und Vorhersagen liefern können. Der Data Warenouse Engineer unterstützt mehr BI-bezogene Anwendungen wie Dashboards und Berichte. Diejenigen, die sich für das Engineering datengesteuerter Lösungen im heutigen Unternehmen interessieren, konzentrieren sich normalerweise auf Data Engineering.