Veri Mühendisliği(INF 517)
| Ders Kodu | Dersin Adı | Yarıyıl | Teori | Uygulama | Lab | Kredisi | AKTS |
|---|---|---|---|---|---|---|---|
| INF 517 | Veri Mühendisliği | 2 | 3 | 0 | 0 | 3 | 6 |
| Ön Koşul | |
| Derse Kabul Koşulları |
| Dersin Dili | İngilizce |
| Türü | Seçmeli |
| Dersin Düzeyi | Yüksek Lisans |
| Dersi Veren(ler) | Sultan Nezihe TURHAN sturhan@gsu.edu.tr (Email) |
| Dersin Yardımcıları | |
| Dersin Amacı |
Veri mühendisliği, veri toplama, depolama, yönetim, güvenlik ve işleme için sistemlerin tasarımı ve analiz yöntemlerinin kullanımıyla ilgilenen bir disiplindir. İşlenebilir durumdaki büyük miktardaki "Büyük Veri"nin yönetimi için zengin veri yönetimi şemalarına ihtiyaç duyulmaktadır. Bu ders, Veri Mühendisliği prensipleri ve uygulamalarıyla ilgili temel bir kurs olacak ve aşağıdaki başlıklardan oluşacaktır: I. Veri yaşam döngüsü II. Veriyi düzenlemek ve yönetmek için veri modelleme teknikleri III. Çoklu kaynak sistemlerinden veri toplamak, dönüştürmek, analiz etmek ve görselleştirmek için veri boruları oluşturma IV. Farklı sorgu dilleriyle veriyi işleme V. Veri analitiği uygulamaları ve algoritmaları VI. Geleneksel olmayan veri türlerini yönetme VII. Veri standartları ve veri kalitesi |
| İçerik |
1. Veri Mühendisliğine Giriş: Genel Kavramlar 2. Veri Depolama Teknolojileri 3. Bulut Veri Platformları (AWS/Azure/GCP) 4. Veri Entegrasyon Yöntemleri ve Veri Hattı Mimarileri 5. Apache Airflow ile İş Akışı Orkestrasyonu 6. dbt (veri oluşturma aracı) ile Veri Dönüştürme 7. Spark ile Toplu İşleme 8. Akış İşleme Temelleri ve Apache Kafka 9. Arama ve Bilgi Erişimi: Elastic Search 10. Veri Gölü Evi: Mimari ve Prensipler 11. Veri Ağı: Mimari ve Prensipler 12. Veri Yönetişimi - 1: Meta Veri Yönetimi 13. Veri Yönetişimi - 2: Veri Kalitesi ve Testi 14. Veri Yönetişimi - 2: Veri Soy Ağacı ve Gözlemlenebilirlik |
| Dersin Öğrenme Çıktıları |
Bu dersi başarıyla tamamlayan öğrenci aşağıdaki becerilere sahip olacaktır: - Veri Mühendiskliğini Veri Biliminden ayrıştırarak bir öğrenme disiplini olarak değerlendirir - Veri yaşam döngüsünün bileşen adımlarını açıklar ve uygular - Veri mühendisliği tekniklerini açıklar; çeşitli çok boyutlu veri türlerini içeren belirli bir görev için geniş ölçekli veri mühendisliği tekniklerini uygular ve belgeler - Veri mühendisliği, depolama, erişim ve bakım ile ilgili teknik, etik ve toplumsal konuları açıklar ve uygular - Büyük veri analitiği/algoritmalarının temel prensiplerini açıklar ve farklı alanlara uygular - Veri mühendisliğindeki ilgili standartları ve en iyi uygulamaları açıklar, eksiklikleri analiz edip, bunları aşmak için olası stratejileri ve yaklaşımları belirler. |
| Öğretim Yöntemleri | Teorik Ders, Anlatım, Tartışma, Vaka Çalışması, Ödevler, Proje, Uygulama |
| Kaynaklar |
Reis, J, Housley M, Fundamentals of Data Engineering: Plan and Build Robust Data Systems, 1st Edition, 2022, O’Reilly, 978-1098108304 Warren, J., & Marz, N. (2015). Big Data: Principles and best practices of scalable realtime data systems. Simon and Schuster. Learning Spark: Lightning-Fast Big Data Analysis, by by Holden Karau, Andy Konwinski, Patrick Wendell, and Matei Zaharia. O'Reilly Media. Feb 2015 Hadoop: The Definitive Guide, by Tom White. O'Reilly Media. April 2015. (Fourth edition of the book at Amazon.com) Gorelik, A. (2019). The enterprise big data lake: Delivering the promise of big data and data science. O'Reilly Media. |
Teori Konu Başlıkları
| Hafta | Konu Başlıkları |
|---|---|
| 1 | Veri Mühendisliğine Giriş: Genel Kavramlar |
| 2 | Veri Depolama Yöntemleri – 1: Veritabanları, Veri Ambarları ve Veri Gölü |
| 3 | Veri Depolama Yöntemleri - 2 Hadoop Mimarisi ve Ekosistem + NoSQL veri tabanı |
| 4 | Veri Mühendisliği ardışık düzenleri: ETL – ELT – Data Ingestion |
| 5 | İş Akışı Orkestrasyonu |
| 6 | Büyük Veri ekosisteminde veri aktarımında kullanılan veri modelleri |
| 7 | Veri mühendisliğinde yeni mimari paradigmalar 1 – Data Lakehouse |
| 8 | Veri mühendisliğinde yeni mimari paradigmalar 2 – Data Mesh |
| 9 | İş Akışı Oİş Akışı Orkestrasyonu |
| 10 | Akış İşleme Temelleri ve Apache Kafka |
| 11 | Arama ve Bilgi Erişimi: Elastic Search |
| 12 | Veri Yönetişimi - 1: Meta Veri Yönetimi |
| 13 | Veri Yönetişimi - 2: Veri Kalitesi ve Testi |
| 14 | Veri Yönetişimi - 2: Veri Soy Ağacı ve Gözlemlenebilirlik |
Uygulama Konu Başlıkları
| Hafta | Konu Başlıkları |
|---|
Başarı Notuna Etki Oranları
| Sayı | Katkı Payı | |
|---|---|---|
| Yarıyıl içi çalışmaların başarı notuna katkısı | 7 | 50 |
| Yarıyıl sonu çalışmaların başarı notuna katkısı | 1 | 50 |
| Toplam | 8 | 100 |
Yarıyıl İçi Çalışmaları
| Sayı | Katkı Payı | |
|---|---|---|
| Ödevler | 5 | 15 |
| Sunum | 1 | 15 |
| Arasınavlar (Hazırlık Süresi Dahil) | 1 | 20 |
| Proje | 0 | 0 |
| Laboratuar | 0 | 0 |
| Diğer Uygulamalar | 0 | 0 |
| Kısa Sınavlar | 0 | 0 |
| Dönem Ödevi / Projesi | 0 | 0 |
| Portfolyo Çalışmaları | 0 | 0 |
| Raporlar | 0 | 0 |
| Öğrenme Günlükleri | 0 | 0 |
| Bitirme Tezi/Projesi | 0 | 0 |
| Seminer | 0 | 0 |
| Diğer | 0 | 0 |
| Bütünleme | 0 | 0 |
| Toplam | 7 | 50 |
| Numara | Program Yeterlilikleri | Puan | ||||
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 1 | Bilgisayar mühendisliği alanında bilimsel araştırma yaparak bilgiye genişlemesine ve derinlemesine ulaşır, bilgiyi değerlendirir, yorumlar ve uygular. | X | ||||
| 2 | Bilgisayar mühendisliğinde uygulanan güncel teknik ve yöntemler ile bunların kısıtları hakkında kapsamlı bilgi sahibidir. | X | ||||
| 3 | Bilgisayar mühendisliği ile ilgili alanlarda belirsiz, sınırlı ya da eksik verileri kullanarak, bilimsel yöntemlerle bilgiyi tamamlar ve uygular; değişik disiplinlere ait bilgileri bir arada kullanabilir. | X | ||||
| 4 | Bilgisayar mühendisliği mesleğinin yeni ve gelişmekte olan uygulamalarının farkında olup, gerektiğinde bunları inceler ve öğrenir. | X | ||||
| 5 | Bilgisayar mühendisliği problemlerini kurgular, çözmek için yöntem geliştirir ve çözümlerde yenilikçi yöntemler uygular. | X | ||||
| 6 | Yeni ve/veya özgün fikir ve yöntemler geliştirir; karmaşık donanım ve yazılım tabanlı sistemleri veya süreçleri tasarlar ve tasarımlannda yenilikçi/alternatif çözümler geliştirir. | X | ||||
| 7 | Kuramsal, deneysel ve modelleme esaslı araştırmaları tasarlar ve uygular; bu süreçte karşılaşılan karmaşık problemleri irdeler ve çözümler | X | ||||
| 8 | Disiplin içi ve çok disiplinli takımlarda etkin biçimde çalışabilir, bu tür takımlarda liderlik yapabilir ve karmaşık durumlarda proje ve risk yönetimi tekniklerini de kullanarak çözüm yaklaşımları geliştirebilir; bağımsız çalışabilir ve sorumluluk alır. | X | ||||
| 9 | Bir yabancı dili en az Avrupa Dil Portfoyü B2 Genel Düzeyinde kullanarak, sözlü ve yazılı iletişim kurar. | X | ||||
| 10 | Çalışmalarının süreç ve sonuçlarını, bilgisayar mühendisliği alanındaki veya ilgili alanlardaki ulusal ve uluslararası ortamlarda sistematik ve açık bir sekilde yazılı ya da sözlü olarak aktarır. | X | ||||
| 11 | Girişimcilik ve yenilikçilik boyutlarını dikkate alarak bilgisayar mühendisliği uygulamalarını gerçekleştirebilir. | X | ||||
| 12 | Verilerin toplanması, yorumlanması, duyurulması aşamalarında ve mesleki tüm etkinliklerde toplumsal, bilimsel ve etik değerleri gözetir. | X | ||||
| 13 | Bilgisayar mühendisliği uygulamalarının sosyal ve çevresel boyutlarını betimler. | X | ||||
| Etkinlikler | Sayı | Süre | Toplam İş Yükü |
|---|---|---|---|
| Ders Süresi | 14 | 3 | 42 |
| Sınıf Dışı Çalışma Süresi | 14 | 2 | 28 |
| Ödevler | 5 | 1 | 5 |
| Sunum | 1 | 1 | 1 |
| Arasınavlar (Hazırlık Süresi Dahil) | 1 | 1 | 1 |
| Proje | 0 | 0 | 0 |
| Laboratuar | 0 | 0 | 0 |
| Diğer Uygulamalar | 0 | 0 | 0 |
| Yarıyıl Sonu Sınavı (Hazırlık Süresi Dahil) | 1 | 5 | 5 |
| Kısa Sınavlar | 0 | 0 | 0 |
| Dönem Ödevi / Projesi | 0 | 0 | 0 |
| Portfolyo Çalışmaları | 0 | 0 | 0 |
| Raporlar | 0 | 0 | 0 |
| Öğrenme Günlükleri | 0 | 0 | 0 |
| Bitirme Tezi/Projesi | 0 | 0 | 0 |
| Seminer | 0 | 0 | 0 |
| Diğer | 0 | 0 | 0 |
| Bütünleme | 0 | 0 | 0 |
| Ts Yıl Sonu | 0 | 0 | 0 |
| Hazırlık Yıl Sonu | 0 | 0 | 0 |
| Hazırlık Bütünleme | 0 | 0 | 0 |
| Toplam İş Yükü | 82 | ||
| Toplam İş Yükü / 25 | 3.28 | ||
| Dersin AKTS Kredisi | 3 | ||