Skillz
Contents
Bắt đầu với các SÁCH THAM KHẢO từ Dathoc.NET
Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester:
Sách tài liệu cho DA engineer - Data Analyst, Data Analytics Engineer - Kỹ sư phân tích dữ liệu kinh doanh:
Sách tài liệu cho DE, Bigdata engineer - Kỹ sư phân tích, khai thác dữ liệu lớn:
Sách tài liệu cho AI, ML, DL - Kỹ sư gia công Trí tuệ nhân tạo, máy học, học sâu - Kỹ sư vẽ bản đồ:
Sách tài liệu cho DA Visualizer - Kỹ sư trình bày dữ liệu :
https://dathoc.net/bookvisSpringer 393 free books for various subjects (during Covid19 season)
https://dathoc.net/sprname="toc-2">Kỹ năng mềm
- Hiểu về Cách mạng CNTT 4.0 (đọc bài này)
- Hiểu về Đạo đức trong công việc, nghề nghiệp CNTT ( )
- Kỹ năng thuyết trình ( )
- Kỹ năng gõ bàn phím máy tính 10 ngón ( )
- Kỹ năng Tiếng Anh đọc hiểu cho dân CNTT (đọc bài này)
- Kỹ năng bóc tách giải quyết nút thắt bài toán, vấn đề ( )
- Kỹ năng trình bày văn bản trên MS Word, LibreOffice (ví dụ mẫu một văn bản hoàn thiện)
- Kỹ năng viết lý lịch, CV gửi tuyển dụng (cần viết ngắn, rõ ràng theo mẫu này)
- Kỹ năng lắng nghe và hồi đáp khi được phỏng vấn tuyển việc làm ( )
- Kỹ năng kìm nén cơn giận, nhẫn nại lắng nghe trong bàn luận nhóm, xúc tiến công việc ( )
Kỹ năng cho Software Tester
- Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/booktest
- CƠ BẢN
- Đọc hiểu yêu cầu khách hàng
- Phân tích yêu cầu khách hàng ra yêu cầu kiểm thử phần mềm
- Lập các chiến lược kiểm định
- Chiến lược cho kiểm định đơn vị - Unit Test
- Chiến lược cho kiểm định tích hợp - Integration Test
- Chiến lược cho kiểm định API, Webservice - API Test
- Chiến lược cho kiểm định chức năng - Functional Test
- Chiến lược cho kiểm định giao diện người dùng - GUI Test
- Chiến lược cho kiểm định hiệu năng - Performance Test/ Load Test/ Stress Test
- Chiến lược cho kiểm định bảo mật - Security Test/ Penetration Test
- Chiến lược cho kiểm định chuyển giao sản phẩm - Acceptance Test
- Viết trường hợp kiểm định (testcase)
- Thực hiện kiểm định
- Ghi nhận lỗi, báo cáo số lượng lỗi sau kiểm định
- Báo cáo cơ bản sau thực hiện kiểm định
- MỞ RỘNG
- Ước lượng thời gian và số lượng công việc
- Lập kế hoạch kiểm định
- Phân tích rủi ro
- Phân tích xu hướng lỗi xảy ra trong chu kỳ phát triển phần mềm
- Áp dụng các công cụ vào thực hiện kiểm định để tăng năng suất
- Áp dụng các công cụ vào thực hiện kiểm định tự động
- Áp dụng các công cụ vào thực hiện kiểm định bảo mật
- Áp dụng các công cụ vào thực hiện kiểm định API
- Áp dụng các công cụ vào thực hiện kiểm định hiệu năng
- Áp dụng các công cụ vào thực hiện kiểm định unit test
Kỹ năng cho Data Engineer
- Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/bookbig
- CƠ BẢN (xem 1 ngày làm việc của kỹ sư DE và học khóa BASDE06- Kiến trúc và xây dựng BigData)
- Đọc hiểu yêu cầu khách hàng
- Phân tích yêu cầu khách hàng ra yêu cầu xử lý dữ liệu (dữ liệu lớn, dữ liệu vừa)
- Lập các chiến lược xử lý dữ liệu
- Tạo chu trình chung vào/ra xuyên suốt khi xử lý dữ liệu - data pipeline
- Tham khảo kỹ thuật: cách thức thu thập dữ liệu
- Tham khảo kỹ thuật: cách thức làm sạch, chuyển đổi dữ liệu
- Tham khảo kỹ thuật: cách thức lưu trữ từng loại dữ liệu
- Tham khảo kỹ thuật: các thuật toán đã có áp dụng dự đoán, phân loại dữ liệu
- Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
- Tham khảo kỹ thuật: cách thức thể hiện view, visualize dữ liệu sau dự đoán, cho các đầu cuối (web, mobile)
- Tham khảo kỹ thuật: các thuật toán học sâu cho một tiến trình mới xử lý
- Chuẩn bị kiến thức cập trình xử lý dữ liệu
- Lập trình cơ bản với ngôn ngữ python, java, scala
- Lập trình cơ bản với thư viện, database: Spark, CouchBase, Parquet, Pandas, Numpy, OpenCV...
- Chuẩn bị máy móc, môi trường làm việc
- Tạo cấu hình máy và môi trường nên đi thuê (xem bài này)
- Thu thập dữ liệu
- Kỹ thuật truy vấn phân tán - clustering/distributed query
- Kỹ thuật lưu chuyển live stream
- Kỹ thuật lưu chuyển batch, vd:
- Apache Kafka: Pubsub nhiều ng hay dùng, mọi loại data. Song với một số DB khó tích hợp.
- Apache Nifi: Ứng dụng pubsub GUI dễ dùng, miễn phí, và dễ tích hợp bất cứ đâu, etl data từ nơi này sang nơi khác, batch, realtime
- Apache Sqoop: Chỉ cho dữ liệu cấu trúc, dành riêng cho MS SQL etl sang HDFS
- Apache Flume: Stream phi cấu trúc cho HDFS or Hbase.
- RabbitMQ: Message Queuing System (MQ), huyền thoai pubsub, bất kỳ loại data nào. Thông thường <250kb.
- Amazon Kinesis: Có phí, đối thủ của Kafka.
- Microsoft Azure Event Hubs: Là Kafka từ Microsoft.
- Google Pub/Sub: Là Kafka từ Google.
- Kỹ thuật lưu trữ phân tán - sử dụng định dạng hdfs
- Kỹ thuật phân loại lưu trữ với loại cơ sở dữ liệu phù hợp, vd:
- hbase
- parquet
- avro
- kudu
- Kỹ thuật phân loại lưu trữ theo công nghệ lưu chuyển
- Tiền xử lý dữ liệu
- Làm sạch tạo câu dữ liệu: text
- Cắt tạo khung ảnh phù hợp đối tượng (tag img): hình ảnh
- Xuất thông số âm thanh
- Kỹ thuật chuyển đổi map/reduce (hẹp, rộng, lọc, tổng hợp)
- Xử lý dữ liệu
- Kỹ thuật xử lý tạm trên RAM
- Kỹ thuật chuyển đổi map/reduce (hẹp, rộng, lọc, tổng hợp .... spark map/reduce, pig map/reduce, impala)
- Kỹ thuật truy vấn phân tán (select, n1ql..impala, presto, couchbase)
- Kỹ thuật sử dụng thuật toán giám sát (logistic regression, timeseries..)
- Kỹ thuật sử dụng thuật toán không giám sát (knn, autoencoders, deep belief nets...)
- Kỹ thuật sử dụng mạng nhân tạo feed forward - CNN
- Kỹ thuật sử dụng mạng nhân tạo feed replay - RNN
- Kỹ thuật sử dụng xử lý lưu trữ bộ nhớ ngắn hạn - LSTM
- Kỹ thuật sử dụng mạng nhân tạo dịch thuật - NMT
- Kỹ thuật sử dụng công cụ visualize chart, mô hình, mô phỏng 2D, 3D
- Đánh giá sau xử lý dữ liệu
- Kỹ thuật quan sát tìm điểm bất thường
- Đánh giá kết quả dữ liệu: độ tin cậy, dự báo, xác thực
- MỞ RỘNG (xem và học khóa DevBig19, DevBig21, DevBig21)
- Lập kế hoạch bài toán xử lý dữ liệu
- Kỹ thuật phân bổ công việc trong team
- Phân tích từ thu thập dữ liệu lịch sử, thói quen, cảnh báo sớm qua chatbot
- Mở rộng nhu cầu, tạo các bài toán dự báo, gợi ý, phân loại
Kỹ năng cho Data Analytics Engineer
- Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/bookda
- CƠ BẢN (xem và học khóa Bizda301 - Cơ bản phân tích dữ liệu dự đoán, ra quyết định cho doanh nghiệp)
- Đọc hiểu yêu cầu khách hàng
- Phân tích yêu cầu khách hàng ra yêu cầu xử lý dữ liệu (dữ liệu lớn, dữ liệu vừa)
- Lập các chiến lược xử lý dữ liệu
- Tạo chu trình chung vào/ra xuyên suốt khi xử lý dữ liệu - data pipeline
- Tham khảo kỹ thuật: cách thức thu thập dữ liệu
- Tham khảo kỹ thuật: cách thức làm sạch, chuyển đổi dữ liệu
- Tham khảo kỹ thuật: cách thức lưu trữ từng loại dữ liệu
- Tham khảo kỹ thuật: các thuật toán đã có áp dụng dự đoán, phân loại dữ liệu
- Tham khảo kỹ thuật: cách thức thể hiện view, visualize dữ liệu sau dự đoán, cho các đầu cuối (web, mobile)
- Chuẩn bị kiến thức cập trình xử lý dữ liệu kèm công cụ
- Lập trình với Excel
- Lập trình với Tableau
- Lập trình với Power BI
- Chuẩn bị máy móc, môi trường làm việc
- Cấu hình và môi trường nên đi thuê (xem bài này)
- Tiền xử lý dữ liệu
- Làm sạch dữ liệu: text
- Kỹ thuật truy vấn SQL
- Kỹ thuật chuyển đổi qua SQL
- Xử lý dữ liệu
- Kỹ thuật chuyển đổi qua SQL
- Kỹ thuật visualize dữ liệu, mô phỏng 2D, 3D
- Phân tích mô tả
- Phân tích dự đoán
- Phân tích ra quyết định
- Đánh giá sau xử lý dữ liệu
- Kỹ thuật quan sát tìm điểm bất thường
- Đánh giá kết quả dữ liệu: độ tin cậy, dự báo, xác thực
- MỞ RỘNG (xem Kỹ thuật cho Data Engineer)
Kỹ năng cho AWS Engineer
- CƠ BẢN (xem và học khóa BASDE14-AWS khái niệm thực hành)
- Đọc hiểu yêu cầu khách hàng
- Phân tích yêu cầu khách hàng ra yêu cầu sử dụng dịch vụ AWS
- Lập các chiến lược
- Mapping yêu cầu sang từng loại dịch vụ AWS
- Tham khảo kỹ thuật: mô hình phát triển: waterfall, agile,
- Tham khảo kỹ thuật: phân tích yêu cầu: chức năng, phi chức năng
- Tham khảo kỹ thuật: phân tích công nghệ bảo mật áp dụng
- Tham khảo kỹ thuật: phân tích công nghệ máy trạm phù hợp khi là team
- Tham khảo kỹ thuật: phân tích loại giao thức (protocol) phù hợp với từng kiểu giao dịch
- Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
- Tham khảo kỹ thuật: kỹ thuật replay khi có một giao dịch bị lỗi
- Tham khảo kỹ thuật: kỹ thuật chuyển đổi request sang pubsub, queue
- Chuẩn bị kiến thức cập trình xử lý dữ liệu
- Lập trình cơ bản với ngôn ngữ phù hợp với team frontend, backend app, serverless services, microservices
- Lập trình cơ bản với thư viện, database, framework sẵn có: Ethereum, Hyperledger Fabric, MS SQL, CouchDB, NodeJS, Go, .NET, Java...
- Chuẩn bị máy móc, môi trường làm việc
- Cấu hình và môi trường nên đi thuê (xem bài này)
- Thiết kế bài toán
- Tạo lược đồ UML
- Phát triển bài toán
- Tạo môi trường CI
- Đánh giá kiểm định bài toán
- Đánh giá kết quả kiểm tra, test trên mạng chuỗi khối
- MỞ RỘNG (xem và học khóa DevOps, AS Advance)
Kỹ năng cho Blockchain Engineer
- CƠ BẢN (xem và học khóa Xây dựng ứng dụng BlockChain cơ bản - devbc18)
- Đọc hiểu yêu cầu khách hàng
- Phân tích yêu cầu khách hàng ra yêu cầu bài toán ứng dụng chuỗi khối
- Lập các chiến lược
- Tham khảo kỹ thuật: mô hình phát triển: waterfall, agile,
- Tham khảo kỹ thuật: phân tích yêu cầu: chức năng, phi chức năng
- Tham khảo kỹ thuật: phân tích công nghệ bảo mật áp dụng
- Tham khảo kỹ thuật: lựa chọn thuật toán đồng thuận phù hợp
- Tham khảo kỹ thuật: lựa chọn mô hình chuỗi khối có sẵn hoặc tạo mới
- Tham khảo kỹ thuật: phân tích công nghệ máy trạm phù hợp khi là team
- Tham khảo kỹ thuật: phân tích loại giao thức (protocol) phù hợp với từng kiểu giao dịch
- Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
- Tham khảo kỹ thuật: kỹ thuật replay khi có một giao dịch bị lỗi
- Tham khảo kỹ thuật: kỹ thuật chuyển đổi request sang pubsub, queue
- Chuẩn bị kiến thức cập trình xử lý dữ liệu
- Lập trình cơ bản với ngôn ngữ phù hợp với team frontend, backend app, backend blockchain
- Lập trình cơ bản với thư viện, database, framework sẵn có: Ethereum, Hyperledger Fabric, MS SQL, CouchDB, NodeJS, Go, .NET, Java...
- Chuẩn bị máy móc, môi trường làm việc
- Cấu hình và môi trường nên đi thuê (xem bài này)
- Thiết kế bài toán
- Tạo lược đồ UML
- Phát triển bài toán
- Tạo môi trường CI
- Đánh giá kiểm định bài toán
- Đánh giá kết quả kiểm tra, test trên mạng chuỗi khối
- MỞ RỘNG (xem và học khóa Devbc19, Devbc20)
- Tạo mạng chuỗi khối riêng
- Phân tích tối ưu tốc độ giao dịch
- Thay đổi kiểu đồng thuận
Kỹ năng cho Machine Learning, Deep Learning Engineer
- Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/bookml
- CƠ BẢN (xem qua A ML short story)
- Đọc hiểu yêu cầu khách hàng
- Phân tích yêu cầu khách hàng ra yêu cầu dự đoán, máy học, học sâu (dữ liệu lớn, dữ liệu vừa)
- Lập các chiến lược xử lý dữ liệu
- Tạo chu trình chung vào/ra xuyên suốt khi xử lý dữ liệu - data pipeline
- Tham khảo kỹ thuật: cách thức thu thập dữ liệu
- Tham khảo kỹ thuật: cách thức làm sạch, chuyển đổi dữ liệu
- Tham khảo kỹ thuật: cách thức lưu trữ từng loại dữ liệu
- Tham khảo kỹ thuật: tạo các thuật toán mới, tối ưu thuật toán, áp dụng dự đoán, phân loại dữ liệu
- Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
- Tham khảo kỹ thuật: cách thức thể hiện view, visualize dữ liệu sau dự đoán, cho các đầu cuối (web, mobile)
- Tham khảo kỹ thuật: các thuật toán học sâu cho một tiến trình mới xử lý
- Chuẩn bị kiến thức cập trình xử lý dữ liệu
- Lập trình cơ bản với ngôn ngữ python, java, scala
- Lập trình cơ bản với thư viện, database: OpenCV, Tensorflow, Keras, RNN, CNN, NMT, LSTM, Spark, CouchBase, Parquet...
- Chuẩn bị máy móc, môi trường làm việc
- Cấu hình và môi trường nên đi thuê (xem bài này)
- Tiền xử lý dữ liệu
- Làm sạch dữ liệu: âm thanh, hình ảnh, video, text
- Áp dụng thuật toán, hoặc tạo ra thuật toán
- Kỹ thuật áp dụng thuật toán, đánh giá dữ liệu bất thường, check độ tin cậy
- Kỹ thuật áp dụng thông số đầu vào, tạo ra thuật toán
- Xử lý dữ liệu máy học
- Kỹ thuật thuật toán học giám sát (phân loại, hồi quy...classify, regression, Bayes, Gauss..Support Vector Machines, logistic regression, k-nearest neighbor algorithm)
- Kỹ thuật thuật toán học không giám sát (xếp lớp, liên đới ..clustering, associate...,Hebbian Learning, Autoencoders, Self-organizing map)
- Kỹ thuật thuật toán học tăng cường (Brute force, Criterion of optimality)
- Kỹ thuật thuật toán học trên thuộc tính (clustering)
- Kỹ thuật thuật toán học từ điển (key-value, dictionary)
- Xử lý dữ liệu học sâu
- Artificial neural networks (CNN, LSTM, RNN, BiRNN, nmt...) & Deep neural networks (DNN, Nvidia cuDNN)
- Kỹ thuật nhận diện giọng nói - Automatic speech recognition
- Kỹ thuật nhận diện vật thể, mặt người qua ảnh - Image recognition
- Kỹ thuật xử lý hình ảnh cao cấp, tạo mô phỏng theo mẫu - Visual art processing
- Kỹ thuật xử lý ngôn ngữ tự nhiên - Natural language processing
- Kỹ thuật phát hiện độc tích và quá trình thẩm thấu của biệt dược - Drug discovery and toxicology
- Kỹ thuật phát hiện thói quen khách hàng - Customer relationship management
- Kỹ thuật gơi ý theo dữ liệu lịch sử - Recommendation systems
- Kỹ thuật xử lý sinh trắc học - Bioinformatics
- Kỹ thuật chuẩn đoán bệnh qua scan xquang - Medical Image Analysis
- Kỹ thuật tìm kiếm đối tượng quảng cáo - Mobile advertising
- Kỹ thuật khôi phục ảnh - Image restoration
- Kỹ thuật nhận diện giao dịch tài chính gian lận - Financial fraud detection
- Kỹ thuật xử lý tầm bắn, tọa độ, độ bám mục tiêu trong quân đội
- Artificial neural networks (CNN, LSTM, RNN, BiRNN, nmt...) & Deep neural networks (DNN, Nvidia cuDNN)
- Đánh giá sau xử lý dữ liệu máy học
- Đánh giá kết quả
- Đánh giá sau xử lý dữ liệu học sâu
- Đánh giá kết quả
- Áp dụng điều chỉnh lại thuật toán
- MỞ RỘNG
- Lập kế hoạch bài toán TỐI ƯU xử lý dữ liệu
- TỐI ƯU thuật toán ml, dl
- Mở rộng nhu cầu, tạo các ứng dụng đầu cuối cho các xử lý trên