ABCDEFGHIJKLMNOPQRSTUVWXYZ
1
Khoá học livestream + videos: Data Engineering với Huynh Đệ - 2024
2
3
Chuẩn bị
Học viên học MIỄN PHÍ 2 tháng, 16 buổi, 1 tuần 2 buổi tối livestream với giảng viên
4
Học viên cần chuẩn bị máy tính, internet, tai nghe kèm mic, chọn chỗ yên tĩnh để học livestream. Giảng viên sẽ qua Google Meet để kết nối giảng dạy livestream
5
Tuân thủ QUY TẮC HỌC TẬP của Dathoc.net, xem: dathoc.net/policy. Chấm dứt tư cách Thành viên tham gia Khoá học khi VI PHẠM các QUY TẮC HỌC TẬP trên
6
Quy tắc Thuần phong mỹ tụcQuy tắc ứng xử không gian mạng từ Bộ TTTT VN
7
Xem học thử trước: dathoc.net/kp1
8
Xem mẫu dự án, demo projects:dathoc.net/me
9
Xem phổ nghềdathoc.net/pp1
10
Tham khảo cấu hình máy tính, mục tiêu sử dụng cho Gia công dữ liệu: xem:
https://www.facebook.com/KoolJ.InDaHouse/posts/10158231691115079
11
Học viên xếp lịch phù hợp. Không đặt 5 buổi vượt quá 1 tháng. Học viên không được tự ý thay đổi thời gian học.
12
13
After class
Slide + Project doc + Script with samples
14
No video recording
15
A gift
Đây là quà khuyến khích tinh thần học tập: Trao thưởng ngay sau khoá cho các bạn Đạt Thành Tích Cao trong quá trình học tập
16
Các bạn ở xa ký gửi người ở HN qua 36 Duy Tân lấy thưởng
17
Xem post:https://www.facebook.com/dathoc.net/posts/750168426509253
18
19
Nội dung FREEToàn Nội Dung (có phí)Chi phíCần xem đọc trước, học trước các tài liệu, video sau, trước khi tham gia học chủ đề
20
Kiến thức phổ thông
Chi phí: 1500.000 vnd
21
Kiến thức chung CNTT và Hệ thống phần mềm CNTTdathoc.net/cntt
22
Kiến thức tiếng anh học nghe nóidathoc.net/basicen
23
Kỹ năng chuyên môn qua sách vởdathoc.net/skill
24
Tối 1 (2h):FREE <-------------Quy trình chung cho Thu thập Biến đổi Chu chuyển Phân tích dữ liệuXem dathoc.net/kp1, clip 1-2
25
Nhận diện bài toán từ Yêu cầu sang Yêu cầu phân tích
26
Tối 1 (2h):FREE <-------------Nhận diện dữ liệu, overview các kỹ thuật thu thập, chu chuyển, biến đổiXem dathoc.net/kp1, clip 3-4-5
27
Nhận diện các kỹ thuật phân tíchXem dathoc.net/skill , cho Data Engineering
28
Cơ sở dữ liệu quan hệ (relational database), và không quan hệ (nosql database)
dathoc.net/cntt , Ve CSDL
29
Hướng đối tượng
Xem https://www.youtube.com/watch?v=67fIkaxyvHs&list=PL751V5I3RIDEWVxgWbiRzf98rFcV7mxWM
30
Cơ bản Git, Docker, Kubenetes
31
Setup
https://docs.google.com/document/d/1JrrXBKEaGdiTaT9P_ZUpNTPghBPEO1LFGB7-IRAWzP0/edit
32
Kiến thức phổ thông
Chi phí: 1500.000 vnd
33
Lập trình cơ bản Python
Xem https://www.youtube.com/watch?v=XKHEtdqhLK8&t=18s
34
Lập trình cơ bản JavaXem https://www.youtube.com/watch?v=xk4_1vDrzzo
35
Lập trình cơ bản Scala
Xem https://www.youtube.com/watch?v=DzFt0YkZo8M&t=63s
36
Lập trình cơ bản HTML, CSS, JavascriptXem www.w3schools.com
37
Truy vấn SQL, noSQLTập truy vấn SQL: https://www.w3schools.com/sql/
NoSQL: https://www.youtube.com/watch?v=0buKQHokLK8
38
Kiến thức phổ thông
Chi phí: 1500.000 vnd
39
Thống kê cơ bản
https://www.youtube.com/watch?v=u1cc1r_Y7M0&list=PLblh5JKOoLUJJpBNfk8_YadPwDTO2SCbx&index=4
40
Các thuật toán cơ bản giám sát
https://www.youtube.com/watch?v=Gv9_4yMHFhI&list=PLblh5JKOoLUICTaGLRoHQDuF_7q2GfuJF
41
Các thuật toán + mô hình không giám sát
https://www.youtube.com/watch?v=zxagGtF9MeU&list=PLblh5JKOoLUIxGDQs4LFFD--41Vzf-ME1
42
Các kỹ thuật áp dụng cho biến đổi, lưu chuyển, tạo mô hình dự báo trên data
43
Cơ bản thiết kế pipeline cho data engineeringXem dathoc.net/kp1, clip 3
44
Tối 1 (2h):FREE <-------------So sánh lựa chọn loại dạng data storage với bài toán phân tích
Xem https://www.adaltas.com/en/2020/07/23/benchmark-study-of-different-file-format/
45
Datawarehouse và các kiến thức cơ bản
Xem: dathoc.net/bksach, folder bookda, file 2013_datawarehousetoolkit
46
47
48
Kiến thức chuyên môn: Thu thập data - p1
Chi phí: 2000.000 vnd
Xem: https://www.facebook.com/dathoc.net/posts/517592253100206
49
Tối 2 (2h):FREE <-------------Thu thập, móc nối dữ liệu: crawl text, ảnh, video trang web; apiXem dathoc.net/kp1, clip 12-13-14-15
50
Đa luồng java với testng
51
Thu thập, móc nối dữ liệu: thu âm thanh chuyển đổi sang text
52
Thu thập, móc nối dữ liệu: img to text
53
Thu thập, móc nối dữ liệu: img from camera
54
Kiến thức chuyên môn: Thu thập data - p2
Chi phí: 2000.000 vnd
55
Tối 2 (2h):FREE <-------------Thu thập, móc nối dữ liệu: csdl sang kafkaXem dathoc.net/kp1, clip 16-17-18-19
56
Check change database: mongodb, couchdb, mssql, oracle
57
Thu thập, móc nối dữ liệu: csdl sang hdfs, distributed query
58
Móc nối dữ liệu: csdl mssql, mongodb, couchdb
59
Thu thập, móc nối dữ liệu: thời gian thực với clickstream
60
Thu thập, móc nối dữ liệu: thời gian thực với stream event
61
62
Kiến thức chuyên môn: Chu chuyển data - p1
Chi phí: 2000.000 vnd
63
Tối 3 (2h):FREE <-------------Chu chuyển dữ liệu thời gian thực với KafkaXem dathoc.net/kp1, clip 22-23-24
64
Chu chuyển dữ liệu chu kỳ với Spark
65
Chu chuyển lắng nghe message với MQTT
66
Kiến thức chuyên môn: Chu chuyển data - p2
Chi phí: 2000.000 vnd
67
Tính toán biến đổi dữ liệu chu kỳ với Python padas, daskXem dathoc.net/kp1, clip 25
68
Tính toán biến đổi dữ liệu thời gian thực với Flink
69
Tính toán biến đổi dữ liệu chu kỳ với Spark
70
71
Kiến thức chuyên môn: Data lake
Chi phí: 2000.000 vnd
72
Ve Datalake
Xem: https://www.youtube.com/watch?v=IPkQpBdde5Y&t=623s
73
Dựng stack, ELKXem dathoc.net/kp1, clip 16-19
74
Dựng stack, IPFS
75
Biến đổi transform, tạo api nhận gửi data
76
Tạo api search data; backup data
77
78
Kiến thức chuyên môn: Data warehouse - p1
Chi phí: 2000.000 vnd
79
Tối 4 (2h):FREE <-------------Ve Scylla DB
80
Tối 4 (2h):FREE <-------------Thiết kế và thực hành datawarehouse Scylla DB: cho RetailXem dathoc.net/kp1, clip 20-21-22
81
Thiết kế và thực hành datawarehouse Scylla DB: cho HR
82
Kiến thức chuyên môn: Data warehouse - p2
Chi phí: 2000.000 vnd
83
Thiết kế và thực hành datawarehouse Scylla DB: cho BankingXem dathoc.net/kp1, clip 20-21-22
84
Truy vấn partition
85
Truy vấn clustering
86
87
Kiến thức chuyên môn: Data analysis - p1
Chi phí: 2000.000 vnd
88
Các kỹ thuật thống kê: power bi, excelXem: dathoc.net/bksach, folder bookda, file Thong ke
89
Tối 5 (2h):FREE <-------------
90
Tối 5 (2h):FREE <-------------Các kỹ thuật dự báo có giám sát
91
Kiến thức chuyên môn: Data analysis - p2
Chi phí: 2000.000 vnd
92
Các kỹ thuật dự báo không giám sátXem: dathoc.net/bksach, folder bookda, sach python with ml
93
Các kỹ thuật dự báo máy học trên Google Tensorflow & Keras
94
Kiến thức chuyên môn: Data analysis - p3
Chi phí: 2000.000 vnd
95
Các kỹ thuật dự báo máy học trên Nvidia Tensor RT & Onnx
96
Các kỹ thuật dự báo máy học trên Yolo
97
Kiến thức chuyên môn: Data analysis - p3
Chi phí: 2000.000 vnd
98
Dựng stack, triển khai dự báo với dữ liệu nhỏ: flask python, mongo db, sklearn
99
Dựng stack, triển khai dự báo với dữ liệu lớn: hadoop, spark
100