Veri Mühendisliği(INF 517)
| Ders Kodu | Dersin Adı | Yarıyıl | Teori | Uygulama | Lab | Kredisi | AKTS |
|---|---|---|---|---|---|---|---|
| INF 517 | Veri Mühendisliği | 2 | 3 | 0 | 0 | 3 | 6 |
| Ön Koşul | |
| Derse Kabul Koşulları |
| Dersin Dili | İngilizce |
| Türü | Seçmeli |
| Dersin Düzeyi | Yüksek Lisans |
| Dersi Veren(ler) | N. Sultan TURHAN sturhan@gsu.edu.tr (Email) |
| Dersin Yardımcıları | |
| Dersin Amacı |
Veri mühendisliği, veri toplama, depolama, yönetim, güvenlik ve işleme için sistemlerin tasarımı ve analiz yöntemlerinin kullanımıyla ilgilenen bir disiplindir. İşlenebilir durumdaki büyük miktardaki "Büyük Veri"nin yönetimi için zengin veri yönetimi şemalarına ihtiyaç duyulmaktadır. Bu ders, Veri Mühendisliği prensipleri ve uygulamalarıyla ilgili temel bir kurs olacak ve aşağıdaki başlıklardan oluşacaktır: I. Veri yaşam döngüsü II. Veriyi düzenlemek ve yönetmek için veri modelleme teknikleri III. Çoklu kaynak sistemlerinden veri toplamak, dönüştürmek, analiz etmek ve görselleştirmek için veri boruları oluşturma IV. Farklı sorgu dilleriyle veriyi işleme V. Veri analitiği uygulamaları ve algoritmaları VI. Geleneksel olmayan veri türlerini yönetme VII. Veri standartları ve veri kalitesi |
| İçerik |
1. Veri Mühendisliğine Giriş: Genel Kavramlar 2. Veri Depolama Yöntemleri – 1: Veritabanları, Veri Ambarları ve Veri Gölü 3. Veri Depolama Yöntemleri - 2 Hadoop Mimarisi ve Ekosistem + NoSQL veri tabanı 4. Veri Mühendisliği ardışık düzenleri: ETL – ELT – Data Ingestion 5. Basit veri toplama yöntemleri - Web Scraping 6. Büyük Veri ekosisteminde veri aktarımında kullanılan veri modelleri 7. Data Ingestion – Toplu işleme 8. Data Ingestion – Akan veri 9. Bulutta Büyük Veri Analizi: Google Big Query 10. Veri mühendisliğinde yeni mimari paradigmalar 1 – Data Lakehouse 11. Veri mühendisliğinde yeni mimari paradigmalar 2 – Data Mesh 12. Veri Yönetişimi 1: Meta data yönetimi 13. Veri Yönetişimi 2: Veri Kalitesi ve Veri Kökeni |
| Dersin Öğrenme Çıktıları |
Bu dersi başarıyla tamamlayan öğrenci aşağıdaki becerilere sahip olacaktır: - Veri Mühendiskliğini Veri Biliminden ayrıştırarak bir öğrenme disiplini olarak değerlendirir - Veri yaşam döngüsünün bileşen adımlarını açıklar ve uygular - Veri mühendisliği tekniklerini açıklar; çeşitli çok boyutlu veri türlerini içeren belirli bir görev için geniş ölçekli veri mühendisliği tekniklerini uygular ve belgeler - Veri mühendisliği, depolama, erişim ve bakım ile ilgili teknik, etik ve toplumsal konuları açıklar ve uygular - Büyük veri analitiği/algoritmalarının temel prensiplerini açıklar ve farklı alanlara uygular - Veri mühendisliğindeki ilgili standartları ve en iyi uygulamaları açıklar, eksiklikleri analiz edip, bunları aşmak için olası stratejileri ve yaklaşımları belirler. …. |
| Öğretim Yöntemleri | Teorik Ders, Anlatım, Tartışma, Vaka Çalışması, Ödevler, Proje, Uygulama |
| Kaynaklar |
Reis, J, Housley M, Fundamentals of Data Engineering: Plan and Build Robust Data Systems, 1st Edition, 2022, O’Reilly, 978-1098108304 Warren, J., & Marz, N. (2015). Big Data: Principles and best practices of scalable realtime data systems. Simon and Schuster. Learning Spark: Lightning-Fast Big Data Analysis, by by Holden Karau, Andy Konwinski, Patrick Wendell, and Matei Zaharia. O'Reilly Media. Feb 2015 Hadoop: The Definitive Guide, by Tom White. O'Reilly Media. April 2015. (Fourth edition of the book at Amazon.com) Gorelik, A. (2019). The enterprise big data lake: Delivering the promise of big data and data science. O'Reilly Media. |
Teori Konu Başlıkları
| Hafta | Konu Başlıkları |
|---|---|
| 1 | Veri Mühendisliğine Giriş: Genel Kavramlar |
| 2 | Veri Depolama Yöntemleri – 1: Veritabanları, Veri Ambarları ve Veri Gölü |
| 3 | Veri Depolama Yöntemleri - 2 Hadoop Mimarisi ve Ekosistem + NoSQL veri tabanı |
| 4 | Veri Mühendisliği ardışık düzenleri: ETL – ELT – Data Ingestion |
| 5 | Basit veri toplama yöntemleri - Web Scraping |
| 6 | Büyük Veri ekosisteminde veri aktarımında kullanılan veri modelleri |
| 7 | Data Ingestion – Toplu işleme |
| 8 | Data Ingestion – Akan veri |
| 9 | Google Big Query |
| 10 | Bilgi çıkarımı ve arama : Elastic Search |
| 11 | Veri mühendisliğinde yeni mimari paradigmalar 1 – Data Lakehouse |
| 12 | Veri mühendisliğinde yeni mimari paradigmalar 2 – Data Mesh |
| 13 | Veri Yönetişimi 1: Meta data yönetimi |
| 14 | Veri Yönetişimi 2: Veri Kalitesi ve Veri Kökeni |
Uygulama Konu Başlıkları
| Hafta | Konu Başlıkları |
|---|
Başarı Notuna Etki Oranları
| Sayı | Katkı Payı | |
|---|---|---|
| Yarıyıl içi çalışmaların başarı notuna katkısı | 6 | 50 |
| Yarıyıl sonu çalışmaların başarı notuna katkısı | 1 | 50 |
| Toplam | 7 | 100 |
Yarıyıl İçi Çalışmaları
| Sayı | Katkı Payı | |
|---|---|---|
| Ödevler | 5 | 20 |
| Sunum | 0 | 0 |
| Arasınavlar (Hazırlık Süresi Dahil) | 1 | 30 |
| Proje | 0 | 0 |
| Laboratuar | 0 | 0 |
| Diğer Uygulamalar | 0 | 0 |
| Kısa Sınavlar | 0 | 0 |
| Dönem Ödevi / Projesi | 0 | 0 |
| Portfolyo Çalışmaları | 0 | 0 |
| Raporlar | 0 | 0 |
| Öğrenme Günlükleri | 0 | 0 |
| Bitirme Tezi/Projesi | 0 | 0 |
| Seminer | 0 | 0 |
| Diğer | 0 | 0 |
| Toplam | 6 | 50 |
| Numara | Program Yeterlilikleri | Puan | ||||
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| Etkinlikler | Sayı | Süre | Toplam İş Yükü |
|---|---|---|---|
| Ders Süresi | 14 | 3 | 42 |
| Sınıf Dışı Çalışma Süresi | 14 | 2 | 28 |
| Ödevler | 5 | 1 | 5 |
| Sunum | 0 | 0 | 0 |
| Arasınavlar (Hazırlık Süresi Dahil) | 1 | 5 | 5 |
| Proje | 0 | 0 | 0 |
| Laboratuar | 0 | 0 | 0 |
| Diğer Uygulamalar | 0 | 0 | 0 |
| Yarıyıl Sonu Sınavı (Hazırlık Süresi Dahil) | 1 | 5 | 5 |
| Kısa Sınavlar | 0 | 0 | 0 |
| Dönem Ödevi / Projesi | 0 | 0 | 0 |
| Portfolyo Çalışmaları | 0 | 0 | 0 |
| Raporlar | 0 | 0 | 0 |
| Öğrenme Günlükleri | 0 | 0 | 0 |
| Bitirme Tezi/Projesi | 0 | 0 | 0 |
| Seminer | 0 | 0 | 0 |
| Diğer | 0 | 0 | 0 |
| Toplam İş Yükü | 85 | ||
| Toplam İş Yükü / 25 | 3,40 | ||
| Dersin AKTS Kredisi | 3 | ||