Skillz

Contents

Bắt đầu với các SÁCH THAM KHẢO từ Dathoc.NET


Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester:

https://dathoc.net/booktest 

Sách tài liệu cho DA engineer - Data Analyst, Data Analytics Engineer - Kỹ sư phân tích dữ liệu kinh doanh:

https://dathoc.net/bookda 

Sách tài liệu cho DE, Bigdata engineer - Kỹ sư phân tích, khai thác dữ liệu lớn:

https://dathoc.net/bookbig 

Sách tài liệu cho AI, ML, DL - Kỹ sư gia công Trí tuệ nhân tạo, máy học, học sâu - Kỹ sư vẽ bản đồ:

https://dathoc.net/bookml 

Sách tài liệu cho DA Visualizer - Kỹ sư trình bày dữ liệu :

https://dathoc.net/bookvis

Springer 393 free books for various subjects (during Covid19 season)

https://dathoc.net/spr

name="toc-2">Kỹ năng mềm

  • Hiểu về Cách mạng CNTT 4.0 (đọc bài này)
  • Hiểu về Đạo đức trong công việc, nghề nghiệp CNTT ( )
  • Kỹ năng thuyết trình ( )
  • Kỹ năng gõ bàn phím máy tính 10 ngón ( )
  • Kỹ năng Tiếng Anh đọc hiểu cho dân CNTT (đọc bài này)
  • Kỹ năng bóc tách giải quyết nút thắt bài toán, vấn đề ( )
  • Kỹ năng trình bày văn bản trên MS Word, LibreOffice (ví dụ mẫu một văn bản hoàn thiện)
  • Kỹ năng viết lý lịch, CV gửi tuyển dụng (cần viết ngắn, rõ ràng theo mẫu này)
  • Kỹ năng lắng nghe và hồi đáp khi được phỏng vấn tuyển việc làm ( )
  • Kỹ năng kìm nén cơn giận, nhẫn nại lắng nghe trong bàn luận nhóm, xúc tiến công việc ( )

Kỹ năng cho Software Tester

  1. Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/booktest
  2. CƠ BẢN
    • Đọc hiểu yêu cầu khách hàng
    • Phân tích yêu cầu khách hàng ra yêu cầu kiểm thử phần mềm
    • Lập các chiến lược kiểm định
      • Chiến lược cho kiểm định đơn vị - Unit Test
      • Chiến lược cho kiểm định tích hợp - Integration Test
      • Chiến lược cho kiểm định API, Webservice - API Test
      • Chiến lược cho kiểm định chức năng - Functional Test
      • Chiến lược cho kiểm định giao diện người dùng - GUI Test
      • Chiến lược cho kiểm định hiệu năng - Performance Test/ Load Test/ Stress Test
      • Chiến lược cho kiểm định bảo mật - Security Test/ Penetration Test
      • Chiến lược cho kiểm định chuyển giao sản phẩm - Acceptance Test
    • Viết trường hợp kiểm định (testcase)
    • Thực hiện kiểm định
    • Ghi nhận lỗi, báo cáo số lượng lỗi sau kiểm định
    • Báo cáo cơ bản sau thực hiện kiểm định
  3. MỞ RỘNG
    • Ước lượng thời gian và số lượng công việc
    • Lập kế hoạch kiểm định
    • Phân tích rủi ro
    • Phân tích xu hướng lỗi xảy ra trong chu kỳ phát triển phần mềm
    • Áp dụng các công cụ vào thực hiện kiểm định để tăng năng suất
      • Áp dụng các công cụ vào thực hiện kiểm định tự động
      • Áp dụng các công cụ vào thực hiện kiểm định bảo mật
      • Áp dụng các công cụ vào thực hiện kiểm định API
      • Áp dụng các công cụ vào thực hiện kiểm định hiệu năng
      • Áp dụng các công cụ vào thực hiện kiểm định unit test

Kỹ năng cho Data Engineer

  1. Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/bookbig
  2. CƠ BẢN (xem 1 ngày làm việc của kỹ sư DE và học khóa BASDE06- Kiến trúc và xây dựng BigData)
    • Đọc hiểu yêu cầu khách hàng
    • Phân tích yêu cầu khách hàng ra yêu cầu xử lý dữ liệu (dữ liệu lớn, dữ liệu vừa)
    • Lập các chiến lược xử lý dữ liệu
      • Tạo chu trình chung vào/ra xuyên suốt khi xử lý dữ liệu - data pipeline
      • Tham khảo kỹ thuật: cách thức thu thập dữ liệu
      • Tham khảo kỹ thuật: cách thức làm sạch, chuyển đổi dữ liệu
      • Tham khảo kỹ thuật: cách thức lưu trữ từng loại dữ liệu
      • Tham khảo kỹ thuật: các thuật toán đã có áp dụng dự đoán, phân loại dữ liệu
      • Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
      • Tham khảo kỹ thuật: cách thức thể hiện view, visualize dữ liệu sau dự đoán, cho các đầu cuối (web, mobile)
      • Tham khảo kỹ thuật: các thuật toán học sâu cho một tiến trình mới xử lý
    • Chuẩn bị kiến thức cập trình xử lý dữ liệu
      • Lập trình cơ bản với ngôn ngữ python, java, scala
      • Lập trình cơ bản với thư viện, database: Spark, CouchBase, Parquet, Pandas, Numpy, OpenCV...
    • Chuẩn bị máy móc, môi trường làm việc
      • Tạo cấu hình máy và môi trường nên đi thuê (xem bài này)
    • Thu thập dữ liệu
      • Kỹ thuật truy vấn phân tán - clustering/distributed query
      • Kỹ thuật lưu chuyển live stream
      • Kỹ thuật lưu chuyển batch, vd:
        • Apache Kafka: Pubsub nhiều ng hay dùng, mọi loại data. Song với một số DB khó tích hợp.
        • Apache Nifi: Ứng dụng pubsub GUI dễ dùng, miễn phí, và dễ tích hợp bất cứ đâu, etl data từ nơi này sang nơi khác, batch, realtime
        • Apache Sqoop: Chỉ cho dữ liệu cấu trúc, dành riêng cho MS SQL etl sang HDFS
        • Apache Flume: Stream phi cấu trúc cho HDFS or Hbase.
        • RabbitMQ: Message Queuing System (MQ), huyền thoai pubsub, bất kỳ loại data nào. Thông thường <250kb.
        • Amazon Kinesis: Có phí, đối thủ của Kafka.
        • Microsoft Azure Event Hubs: Là Kafka từ Microsoft.
        • Google Pub/Sub: Là Kafka từ Google.
      • Kỹ thuật lưu trữ phân tán - sử dụng định dạng hdfs
      • Kỹ thuật phân loại lưu trữ với loại cơ sở dữ liệu phù hợp, vd:
        • hbase
        • parquet
        • avro
        • kudu
      • Kỹ thuật phân loại lưu trữ theo công nghệ lưu chuyển
  1. Tiền xử lý dữ liệu
    • Làm sạch tạo câu dữ liệu: text
    • Cắt tạo khung ảnh phù hợp đối tượng (tag img): hình ảnh
    • Xuất thông số âm thanh
    • Kỹ thuật chuyển đổi map/reduce (hẹp, rộng, lọc, tổng hợp)
  2. Xử lý dữ liệu
    • Kỹ thuật xử lý tạm trên RAM
    • Kỹ thuật chuyển đổi map/reduce (hẹp, rộng, lọc, tổng hợp .... spark map/reduce, pig map/reduce, impala)
    • Kỹ thuật truy vấn phân tán (select, n1ql..impala, presto, couchbase)
    • Kỹ thuật sử dụng thuật toán giám sát (logistic regression, timeseries..)
    • Kỹ thuật sử dụng thuật toán không giám sát (knn, autoencoders, deep belief nets...)
    • Kỹ thuật sử dụng mạng nhân tạo feed forward - CNN
    • Kỹ thuật sử dụng mạng nhân tạo feed replay - RNN
    • Kỹ thuật sử dụng xử lý lưu trữ bộ nhớ ngắn hạn - LSTM
    • Kỹ thuật sử dụng mạng nhân tạo dịch thuật - NMT
    • Kỹ thuật sử dụng công cụ visualize chart, mô hình, mô phỏng 2D, 3D
  3. Đánh giá sau xử lý dữ liệu
    • Kỹ thuật quan sát tìm điểm bất thường
    • Đánh giá kết quả dữ liệu: độ tin cậy, dự báo, xác thực
  4. MỞ RỘNG (xem và học khóa DevBig19, DevBig21, DevBig21)
    • Lập kế hoạch bài toán xử lý dữ liệu
    • Kỹ thuật phân bổ công việc trong team
    • Phân tích từ thu thập dữ liệu lịch sử, thói quen, cảnh báo sớm qua chatbot
    • Mở rộng nhu cầu, tạo các bài toán dự báo, gợi ý, phân loại

Kỹ năng cho Data Analytics Engineer

  1. Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/bookda
  2. CƠ BẢN (xem và học khóa Bizda301 - Cơ bản phân tích dữ liệu dự đoán, ra quyết định cho doanh nghiệp)
    • Đọc hiểu yêu cầu khách hàng
    • Phân tích yêu cầu khách hàng ra yêu cầu xử lý dữ liệu (dữ liệu lớn, dữ liệu vừa)
    • Lập các chiến lược xử lý dữ liệu
      • Tạo chu trình chung vào/ra xuyên suốt khi xử lý dữ liệu - data pipeline
      • Tham khảo kỹ thuật: cách thức thu thập dữ liệu
      • Tham khảo kỹ thuật: cách thức làm sạch, chuyển đổi dữ liệu
      • Tham khảo kỹ thuật: cách thức lưu trữ từng loại dữ liệu
      • Tham khảo kỹ thuật: các thuật toán đã có áp dụng dự đoán, phân loại dữ liệu
      • Tham khảo kỹ thuật: cách thức thể hiện view, visualize dữ liệu sau dự đoán, cho các đầu cuối (web, mobile)
    • Chuẩn bị kiến thức cập trình xử lý dữ liệu kèm công cụ
      • Lập trình với Excel
      • Lập trình với Tableau
      • Lập trình với Power BI
    • Chuẩn bị máy móc, môi trường làm việc
    • Tiền xử lý dữ liệu
      • Làm sạch dữ liệu: text
      • Kỹ thuật truy vấn SQL
      • Kỹ thuật chuyển đổi qua SQL
    • Xử lý dữ liệu
      • Kỹ thuật chuyển đổi qua SQL
      • Kỹ thuật visualize dữ liệu, mô phỏng 2D, 3D
      • Phân tích mô tả
      • Phân tích dự đoán
      • Phân tích ra quyết định
  3. Đánh giá sau xử lý dữ liệu
    • Kỹ thuật quan sát tìm điểm bất thường
    • Đánh giá kết quả dữ liệu: độ tin cậy, dự báo, xác thực
  4. MỞ RỘNG (xem Kỹ thuật cho Data Engineer)

Kỹ năng cho AWS Engineer

  1. CƠ BẢN (xem và học khóa BASDE14-AWS khái niệm thực hành)
    • Đọc hiểu yêu cầu khách hàng
    • Phân tích yêu cầu khách hàng ra yêu cầu sử dụng dịch vụ AWS
    • Lập các chiến lược
      • Mapping yêu cầu sang từng loại dịch vụ AWS
      • Tham khảo kỹ thuật: mô hình phát triển: waterfall, agile,
      • Tham khảo kỹ thuật: phân tích yêu cầu: chức năng, phi chức năng
      • Tham khảo kỹ thuật: phân tích công nghệ bảo mật áp dụng
      • Tham khảo kỹ thuật: phân tích công nghệ máy trạm phù hợp khi là team
      • Tham khảo kỹ thuật: phân tích loại giao thức (protocol) phù hợp với từng kiểu giao dịch
      • Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
      • Tham khảo kỹ thuật: kỹ thuật replay khi có một giao dịch bị lỗi
      • Tham khảo kỹ thuật: kỹ thuật chuyển đổi request sang pubsub, queue
    • Chuẩn bị kiến thức cập trình xử lý dữ liệu
      • Lập trình cơ bản với ngôn ngữ phù hợp với team frontend, backend app, serverless services, microservices
      • Lập trình cơ bản với thư viện, database, framework sẵn có: Ethereum, Hyperledger Fabric, MS SQL, CouchDB, NodeJS, Go, .NET, Java...
    • Chuẩn bị máy móc, môi trường làm việc
    • Thiết kế bài toán
      • Tạo lược đồ UML
    • Phát triển bài toán
      • Tạo môi trường CI
    • Đánh giá kiểm định bài toán
      • Đánh giá kết quả kiểm tra, test trên mạng chuỗi khối
  2. MỞ RỘNG (xem và học khóa DevOps, AS Advance)

Kỹ năng cho Blockchain Engineer

  1. CƠ BẢN (xem và học khóa Xây dựng ứng dụng BlockChain cơ bản - devbc18)
    • Đọc hiểu yêu cầu khách hàng
    • Phân tích yêu cầu khách hàng ra yêu cầu bài toán ứng dụng chuỗi khối
    • Lập các chiến lược
      • Tham khảo kỹ thuật: mô hình phát triển: waterfall, agile,
      • Tham khảo kỹ thuật: phân tích yêu cầu: chức năng, phi chức năng
      • Tham khảo kỹ thuật: phân tích công nghệ bảo mật áp dụng
      • Tham khảo kỹ thuật: lựa chọn thuật toán đồng thuận phù hợp
      • Tham khảo kỹ thuật: lựa chọn mô hình chuỗi khối có sẵn hoặc tạo mới
      • Tham khảo kỹ thuật: phân tích công nghệ máy trạm phù hợp khi là team
      • Tham khảo kỹ thuật: phân tích loại giao thức (protocol) phù hợp với từng kiểu giao dịch
      • Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
      • Tham khảo kỹ thuật: kỹ thuật replay khi có một giao dịch bị lỗi
      • Tham khảo kỹ thuật: kỹ thuật chuyển đổi request sang pubsub, queue
    • Chuẩn bị kiến thức cập trình xử lý dữ liệu
      • Lập trình cơ bản với ngôn ngữ phù hợp với team frontend, backend app, backend blockchain
      • Lập trình cơ bản với thư viện, database, framework sẵn có: Ethereum, Hyperledger Fabric, MS SQL, CouchDB, NodeJS, Go, .NET, Java...
    • Chuẩn bị máy móc, môi trường làm việc
    • Thiết kế bài toán
      • Tạo lược đồ UML
    • Phát triển bài toán
      • Tạo môi trường CI
    • Đánh giá kiểm định bài toán
      • Đánh giá kết quả kiểm tra, test trên mạng chuỗi khối
  2. MỞ RỘNG (xem và học khóa Devbc19, Devbc20)
    • Tạo mạng chuỗi khối riêng
    • Phân tích tối ưu tốc độ giao dịch
    • Thay đổi kiểu đồng thuận

Kỹ năng cho Machine Learning, Deep Learning Engineer

  1. Sách tài liệu cho Kỹ sư kiểm tra kiểm thử phần mềm, software tester: https://dathoc.net/bookml
  2. CƠ BẢN (xem qua A ML short story)
    • Đọc hiểu yêu cầu khách hàng
    • Phân tích yêu cầu khách hàng ra yêu cầu dự đoán, máy học, học sâu (dữ liệu lớn, dữ liệu vừa)
    • Lập các chiến lược xử lý dữ liệu
      • Tạo chu trình chung vào/ra xuyên suốt khi xử lý dữ liệu - data pipeline
      • Tham khảo kỹ thuật: cách thức thu thập dữ liệu
      • Tham khảo kỹ thuật: cách thức làm sạch, chuyển đổi dữ liệu
      • Tham khảo kỹ thuật: cách thức lưu trữ từng loại dữ liệu
      • Tham khảo kỹ thuật: tạo các thuật toán mới, tối ưu thuật toán, áp dụng dự đoán, phân loại dữ liệu
      • Tham khảo kỹ thuật: các kỹ thuật cảnh báo tiến trình, xử lý tiến trình, cảnh báo tài nguyên trong quá trình xử lý
      • Tham khảo kỹ thuật: cách thức thể hiện view, visualize dữ liệu sau dự đoán, cho các đầu cuối (web, mobile)
      • Tham khảo kỹ thuật: các thuật toán học sâu cho một tiến trình mới xử lý
    • Chuẩn bị kiến thức cập trình xử lý dữ liệu
      • Lập trình cơ bản với ngôn ngữ python, java, scala
      • Lập trình cơ bản với thư viện, database: OpenCV, Tensorflow, Keras, RNN, CNN, NMT, LSTM, Spark, CouchBase, Parquet...
    • Chuẩn bị máy móc, môi trường làm việc
    • Tiền xử lý dữ liệu
      • Làm sạch dữ liệu: âm thanh, hình ảnh, video, text
    • Áp dụng thuật toán, hoặc tạo ra thuật toán
      • Kỹ thuật áp dụng thuật toán, đánh giá dữ liệu bất thường, check độ tin cậy
      • Kỹ thuật áp dụng thông số đầu vào, tạo ra thuật toán
    • Xử lý dữ liệu máy học
    • Xử lý dữ liệu học sâu
      • Artificial neural networks (CNN, LSTM, RNN, BiRNN, nmt...) & Deep neural networks (DNN, Nvidia cuDNN)
      • Kỹ thuật nhận diện giọng nói - Automatic speech recognition
      • Kỹ thuật nhận diện vật thể, mặt người qua ảnh - Image recognition
      • Kỹ thuật xử lý hình ảnh cao cấp, tạo mô phỏng theo mẫu - Visual art processing
      • Kỹ thuật xử lý ngôn ngữ tự nhiên - Natural language processing
      • Kỹ thuật phát hiện độc tích và quá trình thẩm thấu của biệt dược - Drug discovery and toxicology
      • Kỹ thuật phát hiện thói quen khách hàng - Customer relationship management
      • Kỹ thuật gơi ý theo dữ liệu lịch sử - Recommendation systems
      • Kỹ thuật xử lý sinh trắc học - Bioinformatics
      • Kỹ thuật chuẩn đoán bệnh qua scan xquang - Medical Image Analysis
      • Kỹ thuật tìm kiếm đối tượng quảng cáo - Mobile advertising
      • Kỹ thuật khôi phục ảnh - Image restoration
      • Kỹ thuật nhận diện giao dịch tài chính gian lận - Financial fraud detection
      • Kỹ thuật xử lý tầm bắn, tọa độ, độ bám mục tiêu trong quân đội
    • Đánh giá sau xử lý dữ liệu máy học
      • Đánh giá kết quả
    • Đánh giá sau xử lý dữ liệu học sâu
      • Đánh giá kết quả
      • Áp dụng điều chỉnh lại thuật toán
  3. MỞ RỘNG
    • Lập kế hoạch bài toán TỐI ƯU xử lý dữ liệu
    • TỐI ƯU thuật toán ml, dl
    • Mở rộng nhu cầu, tạo các ứng dụng đầu cuối cho các xử lý trên