Bài viết chuyên sâu

Về các kỹ năng TỔNG QUÁT và CỤ THỂ về NGHỀ PHÂN TÍCH DỮ LIỆU

Về các kỹ năng TỔNG QUÁT và CỤ THỂ về NGHỀ PHÂN TÍCH DỮ LIỆU

by Admin Dathoc -
Number of replies: 0

#koolj_dataengineering

#knowledge

#dataanalysis

#selfstudy


Về các kỹ năng TỔNG QUÁT và CỤ THỂ chi tiết: tham khảo qua trải nghiệm cá nhân (từ 2017 - 2021), qua sách vở, qua chuyên môn từ các Trường Đại học ...về NGHỀ PHÂN TÍCH DỮ LIỆU - Data Analysis, bạn đang muốn MIỄN PHÍ tìm hiểu; trong thời gian phải giãn cách dịch bệnh ở nhà, loanh quanh với bốn bức tường.

.

.

Link: dathoc.net/skill (ip trong Việt Nam mới vào được, bạn cần đăng ký quyền Guest để truy cập)

Tất nhiên bạn có thể Google thêm các kỹ năng này. Hoặc nếu bạn tự Google tìm hiểu thì tốt quá, bạn nên bỏ qua bài viết này nếu ĐÃ CÓ khả năng tự tìm hiểu rồi. Admin thấy bài viết phù hợp thì OK. Nếu thấy không phù hợp thì remove đi.

.

.

Tránh mất 300 triệu vnd tới 500 triệu khi phải học 4-6 năm Bách Khoa hoặc: 1tỷ 5, hoặc 2 tỷ vnd khi học Vin Uni, hoặc học online Tiếng Anh tại Harvard hoặc Standford khó hiểu khó tiếp thu.

.

.

👉Mục tiêu bài viết: Vâng, ở đây tôi muốn focus và những CHÙM KỸ NĂNG mà (cá nhân tự tìm hiểu từ 2017 - 2021) đã tham gia triển khai các dự án lớn nhỏ các tổ chức từ 2017, tới bây giờ 2021 tại Việt Nam, có thể tổ chức là vốn ngoài nước. Xong đa phần tổ chức mình đi qua là vốn...tự có. Và có so sánh với nội dung chuyên ngành tại Trường Đại học trong nước Việt Nam và Quốc tế. Hy vọng bạn tìm ra được chùm kỹ năng, kiến thức hợp với chuyên ngành cụ thể trong miền rộng lớn Nghề Phân tích dữ liệu.


👉Đối tượng bài viết: các bạn mới, muốn làm quen nghề PHÂN TÍCH DỮ LIỆU, có khả năng tự học tự tìm hiểu, mong muốn tìm đúng hướng hợp với tình hình môi trường làm việc tại Việt Nam - Data Analysis, từ thống kê, tới dự đoán, lẫn tạo ứng dụng trí tuệ nhân tạo, ở Việt Nam; muốn tự học MIỄN PHÍ, muốn tìm hiểu ONLINE, miễn phí. Tránh mất 300 triệu vnd tới 500 triệu khi phải học 4-6 năm Bách Khoa hoặc: 1tỷ 5, hoặc 2 tỷ vnd khi học Vin Uni, hoặc học online Tiếng Anh tại Harvard hoặc Standford khó hiểu khó tiếp thu.


👉Hướng tự học và tiếp cận các kỹ năng: Bài viết đã gạch đầu dòng từng kỹ năng cụ thể; từng tham khảo cụ thể với từng kỹ năng. Theo đó người mới học sẽ tự khám phá thêm các Khoá học ở các Trung tâm khác, trường học khác... để có thể tự đánh giá Trung tâm đó; Trường học đó; xem họ đạo tạo đủ, hoặc thiếu. Theo đó tự bổ sung kiến thức cho mình. Tất nhiên bạn có thể Google thêm các kỹ năng này. Hoặc nếu bạn tự Google tìm hiểu thì tốt quá, bạn nên bỏ qua bài viết này nếu ĐÃ CÓ khả năng tự tìm hiểu rồi.

.

.

👉1. Chùm kỹ năng cho nghề Phân tích dữ liệu thống kê cho Tổ chức tại Việt Nam:

Nghề này cần mình LÀM NHỮNG GÌ tại Tổ chức?

- Truy vấn SQL vào datasource rồi áp dụng các công thức toán thống kê

- Tạo ra kết quả sau thống kê: xem độ min,max, độ lệch chuẩn, đo độ rời rạc dữ liệu quá khứ, độ tương quan các đặc điểm

- Tạo ra xác suất từ đặc điểm; tạo ra công thức tương quan

- Tạo visualize biểu đồ cột, line, pie chart, hoặc hỗn hợp các biểu đồ


Vậy đối ứng, mình CẦN KỸ NĂNG GÌ để phù hợp? - Xem link dathoc.net/skill 

- Kỹ năng toán thống kê 

- Kỹ năng truy vấn SQL

(xem link trên, kèm sách và chương phù hợp)

- Kỹ năng chunk dữ liệu sang parquet, json, csv

- Kỹ năng biến đổi dữ liệu từ parquet, json, csv qua python, java, theo thư viện spark, pandas, numpy

- Kỹ năng áp dụng triển khai các thuật toán thống kê từ thư viện của python, hoặc R, hoặc spark mllib, hoặc tự có trên Excel, vb script

(xem link trên, kèm sách và chương phù hợp)

- Kỹ năng áp dụng visualize trên công cụ dựng sẵn: Excel, Tableau, MS Power BI

- Kỹ năng áp dụng visualize đòi hỏi lập trình: canvas.js, chart.js, d3.js

(xem link trên, kèm sách và chương phù hợp)

.

.

👉2. Kỹ năng cho nghề Gia công dữ liệu cho Tổ chức tại Việt Nam:

Nghề này cần mình LÀM NHỮNG GÌ tại Tổ chức?

- Thu thập (crawl) dữ liệu

- Tạo lưu chuyển dữ liệu, cleanse dữ liệu trong khi di chuyển

- Gán nhãn dữ liệu hình ảnh, text, âm thanh

- Chạy mẫu dữ liệu, báo cáo sau đó

- Dựng datalake, datawarehouse

- Chunk dữ liệu sang parquet, csv...biến đổi dữ liệu với spark mapreduce


Vậy đối ứng, mình CẦN KỸ NĂNG GÌ để phù hợp?

- Kỹ năng thu thập qua Webdriver

- Kỹ năng thu thập ảnh, text, sound...và tự gán nhãn 

(xem link trên, kèm sách và chương phù hợp)

- Kỹ năng xử lý các kỹ thuật cho datalake, datawarehouse

- Kỹ năng xử lý tích hợp data source với Kafka, Heron, Spark stream

(xem link trên, kèm sách và chương phù hợp)

- Kỹ năng xử lý view ảnh, view text, view sound và tự gán nhãn với yolov5, nlpvncore, vn.tik, sound editor...

- Kỹ năng xử lý trên stream: event analytics, xử dụng heron, nifi, storm

(xem link trên, kèm sách và chương phù hợp)

.

.

👉3. Kỹ năng cho nghề Gia công và Phân tích dữ liệu dự đoán, máy học, học sâu cho Tổ chức tại Việt Nam:

Nghề này cần mình LÀM NHỮNG GÌ tại Tổ chức?

- Tạo ứng dụng nhận diện giọng nói thành text và nguợc lại

- Tạo ứng dụng chấm công bằng mặt người và vân tay

- Tạo ứng dụng nhận diện Cá thể người trong đám đông

- Tạo ứng dụng số hoá Hồ sơ công dân; hồ sơ tội phạm

- Tạo ứng dụng chọn hoa, thực vật; các loại hạt; đếm côn trùng

- Tạo ứng dụng tự động Giải một số giải thuật

- Tạo ứng dụng dự báo giá hàng hoá trong tương lai, và loại khách hàng sẽ mua có đặc điểm gì

- Tạo ứng dụng Gợi ý theo đặc điểm

- Tạo ứng dụng Tự động xử lý di chuyển tới mục tiêu, theo mục tiêu

...

Vậy đối ứng, mình CẦN KỸ NĂNG GÌ để phù hợp?

- Kỹ thuật dựng mô hình tự tạo

- Kỹ thuật dựng mô hình bỏ các lớp, layer không cần thiết từ mô hình cũ

- Kỹ thuật dựng mô hình theo biến đổi từ mô hình cũ

- Kỹ thuật dựng mô hình theo học trao đổi từ mô hình cũ

.

.

👉4. Kỹ năng cho nghề Xây dựng ứng dụng Trí tuệ nhân tạo cho Tổ chức tại Việt Nam:

Nghề này cần mình LÀM NHỮNG GÌ tại Tổ chức?

- Tạo ứng dụng tối ưu nhất xử lý tác vụ tự động tính toán 1/1000000 giây

- Tạo ứng dụng tối ưu nhất nhận diện Cá thể người trong đám đông tính toán 1/1000 giây

- Tạo ứng dụng tự động tối ưu nhất Giải một số giải thuật tính toán 1/1000000 giây

- Tạo ứng dụng tối ưu nhất trong Tự động xử lý di chuyển tránh mục tiêu, theo mục tiêu tính toán 1/1000000 giây

...

Vậy đối ứng, mình CẦN KỸ NĂNG GÌ để phù hợp?

- Kỹ thuật tính toán tối ưu điểm ngưỡng và vượt ngưỡng

- Kỹ thuật tính toán tối ưu điểm mù và tránh mù, tránh nhiễu

- Kỹ thuật tính toán tối ưu dữ liệu đầu vào và tăng vòng đời tạo mô hình

(xem link trên, kèm sách và chương phù hợp)


.

.

👉5. Kỹ năng cho nghề Xây dựng ứng dụng phân tích Dữ liệu lớn cho Tổ chức tại Việt Nam:

Nghề này cần mình LÀM NHỮNG GÌ tại Tổ chức?

- Tạo logic xử lý phân tán cùng lúc nhiều máy và thiết bị

- Tạo logic lưu trữ data với block: 64mb, 128 mb...

- Tạo logic xử lý trên RAM; view và lưu trên RAM

- Tạo logic truy vấn 1 câu trên nhiều database; tách chuỗi truy vấn n nhóm; mỗi nhóm truy vấn trên 1 máy


Vậy đối ứng, mình CẦN KỸ NĂNG GÌ để phù hợp?

- Kỹ năng lập trình: tạo block data trên nhiều máy và thiết bị

- Kỹ năng lập trình: xử lý song song trên nhiều máy và thiết bị

- Kỹ năng lập trình: truy vấn song song trên nhiều máy và thiết bị

(xem link trên, kèm sách và chương phù hợp)

---------

Vậy...bạn nào xa lạ với Blockchain, BA, DA, AI, QA xin học luôn và ngay FREE online YouTube

dathoc.net/mc

...vài nét Cơ bản RIÊNG cho nghề DA: dathoc.net/mod/forum/discuss.php?d=128

...cũng như kiểm tra khả năng DA của bản thân: dathoc.net/datest

...làm chán rồi, vậy xem các demo: dathoc.net/demo

...một ngày làm việc về dữ liệu tại Honda Vĩnh Phúc: https://dathoc.net/mod/forum/discuss.php?d=129

... kho dữ liệu cho DA, cho ML, cho DEDS, Finance: dathoc.net/kho

...thêm vài lời khuyên ĐƯỜNG DÀI cho newbie: dathoc.net/danew