Information Theory (INF365)
| Course Code | Course Name | Semester | Theory | Practice | Lab | Credit | ECTS |
|---|---|---|---|---|---|---|---|
| INF365 | Information Theory | 6 | 3 | 0 | 0 | 3 | 4 |
| Prerequisites | |
| Admission Requirements |
| Language of Instruction | French |
| Course Type | Elective |
| Course Level | Bachelor Degree |
| Course Instructor(s) | İsmail Burak PARLAK bparlak@gsu.edu.tr (Email) Merve GÜLER KESMEZ gulermerve93@gmail.com (Email) |
| Assistant | |
| Objective |
• The description of the models for the algorithmic reasoning of information flow, • The study of the effects of theoretical information models on current applications, • The reasoning of theoretical background of data structures through different scales, • Information coding, compression, channel capacity, information flow and related studies, consist the main concepts of the course. |
| Content |
1.Week Algorithmic Complexity 2.Week P-NP Completeness 3.Week Information and Entropy 4.Week Relative Entropy, Mutual Information 5.Week Shannon’s Effect 6.Week Compression Theory 7.Week Compression Algorithms 8.Week Midterm 9.Week Channel Capacity 10.Week Universal Source Coding 11.Week Lempel-Ziv Coding 12.Week Network Information Theory 13.Week Information Theory Inequalities 14.Week Statistical Techniques |
| Course Learning Outcomes |
At the end of this course, the student may; • model the information from different engineering problems. • achieve an efficient analysis for data-information coupling • explain algorithmic complexity and analyze the compression in information storage • develop adaptive solutions for current and complex problems. |
| Teaching and Learning Methods | |
| References |
1-Elements of Information Theory, Second Edition, Thomas M. Cover, Joy A. Thomas, Wiley-Interscience, 2006 2-Computational Complexity, S. Arora, B. Barak, Cambridge University Press, 2009 |
Theory Topics
| Week | Weekly Contents |
|---|---|
| 1 | Algorithmic Complexity |
| 2 | P-NP Completeness |
| 3 | Information and Entropy |
| 4 | Relative Entropy, Mutual Information |
| 5 | Shannon’s Effect |
| 6 | Compression Theory |
| 7 | Compression Algorithms |
| 8 | Midterm |
| 9 | Channel Capacity |
| 10 | Universal Source Coding |
| 11 | Lempel-Ziv Coding |
| 12 | Network Information Theory |
| 13 | Information Theory Inequalities |
| 14 | Statistical Techniques |
Practice Topics
| Week | Weekly Contents |
|---|
Contribution to Overall Grade
| Number | Contribution | |
|---|---|---|
| Contribution of in-term studies to overall grade | 4 | 60 |
| Contribution of final exam to overall grade | 1 | 40 |
| Toplam | 5 | 100 |
In-Term Studies
| Number | Contribution | |
|---|---|---|
| Assignments | 0 | 0 |
| Presentation | 0 | 0 |
| Midterm Examinations (including preparation) | 1 | 20 |
| Project | 1 | 30 |
| Laboratory | 0 | 0 |
| Other Applications | 0 | 0 |
| Quiz | 2 | 10 |
| Term Paper/ Project | 0 | 0 |
| Portfolio Study | 0 | 0 |
| Reports | 0 | 0 |
| Learning Diary | 0 | 0 |
| Thesis/ Project | 0 | 0 |
| Seminar | 0 | 0 |
| Other | 0 | 0 |
| Toplam | 4 | 60 |
| No | Program Learning Outcomes | Contribution | ||||
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 1 | Matematik, fizik ve mühendislik bilimlerine özgü konularda yeterli bilgi birikimi; bu alanlardaki kuramsal ve uygulamalı bilgileri, mühendislik problemlerinin modellenmesi ve çözümünde kullanabilme becerisi. | X | ||||
| 2 | Karmaşık bilgisayar mühendisliği problemlerini saptama, tanımlama, formüle etme ve çözme becerisi; bu amaçla uygun analiz ve modelleme yöntemlerini seçme ve uygulama becerisi. | X | ||||
| 3 | Yazılımsal veya donanımsal karmaşık bir sistemi, süreci veya donanımı gerçekçi kısıtlar ve koşullar altında, belirli gereksinimleri karşılayacak şekilde tasarlama becerisi; bu amaçla modern tasarım yöntemlerini uygulama becerisi. | X | ||||
| 4 | Mühendislik uygulamalarında karşılaşılan karmaşık problemlerin analizi ve çözümü için gerekli olan modern teknik ve araçları geliştirme, seçme ve kullanma becerisi; bilişim teknolojilerini etkin bir şekilde kullanma becerisi. | X | ||||
| 5 | Analitik düşünce ile bir sistemi, sistem bileşenini ya da süreci analiz etme, modelleme, deney tasarlama ve yapma, veri toplama, çözüm algoritmaları üretebilme, uygulamaya alma ve geliştirme becerileri. | X | ||||
| 6 | Disiplin içi ve çok disiplinli takımlarda etkin biçimde çalışabilme becerisi; bireysel çalışma becerisi. | X | ||||
| 7 | Türkçe sözlü ve yazılı etkin iletişim kurma becerisi; en az iki yabancı dil bilgisi; etkin rapor yazma ve yazılı raporları anlama, yazılım ve donanım tasarımını, gerekirse teknik resim metotları kullanarak raporlayabilme, etkin sunum yapabilme becerisi. | X | ||||
| 8 | Bilgiye erişebilme ve bu amaçla kaynak araştırması yapabilme, veri tabanları ve diğer bilgi kaynaklarını kullanabilme becerisi | X | ||||
| 9 | Yaşam boyu öğrenmenin gerekliliği bilinci; kendini sürekli yenileme becerisi. | X | ||||
| 10 | Mesleki etik ilkelerine uygun davranma, mesleki sorumluluk bilinci; mühendislik uygulamalarında kullanılan standartlar hakkında bilgi. | X | ||||
| 11 | Proje yönetimi, risk yönetimi ve değişiklik yönetimi gibi, iş hayatındaki uygulamalar hakkında bilgi; girişimcilik, yenilikçilik hakkında farkındalık; sürdürülebilir kalkınma hakkında bilgi. | X | ||||
| Activities | Number | Period | Total Workload |
|---|---|---|---|
| Total Workload | 0 | ||
| Total Workload / 25 | 0,00 | ||
| Credits ECTS | 0 | ||