Bài viết chuyên sâu

Máy PC/laptop và ngồi lâu dài làm việc DA, DE, ML

Máy PC/laptop và ngồi lâu dài làm việc DA, DE, ML

by Admin Dathoc -
Number of replies: 0

Cho các fan hỏi về máy và ngồi lâu dài làm việc DA, DE, ML:
#koolj_dataengineering

Khuyên chân thành:
Laptop Asus Vivobook X409F i5 8265U/8GB/1TB/Win10
12-14tr

Hoặc một con tương đương.

Vì sao, vì:
- Ban đầu dùng máy bàn mạnh (16tr - core i5 9xxx, 16gb ram....), thì ko di chuyển đc.
- Vậy phá máy bàn đi dùng lap mạnh (msi gs75...63tr), xong lại thấy các tác vụ mạnh quá, lại đi thuê máy ảo cloud, và hàng ngày chọc vào đó xem tình trạng tác vụ chạy... mất $1/ngày dùng. Không dùng thì tắt.
- Vậy lại chuyển sang lap tàng tàng 10-15tr vnd, vẫn cần chip tương đối cao, ram tương đối đủ để chạy thử nghiệm. Sau đó lại vứt lên máy cloud

Vậy tóm lại là: nên mua một con vừa đủ thôi. Ví dụ con trên đó. Ram nên 8gb, vì thường mở hdh và các loại đã mất 4gb ram rồi. Và hay tạo thử môi trường ảo. Nên lại cần RAM nhiều hơn là cpu và sdd
.
.
.
Mở rộng thêm:
- Hiện tôi đang dùng miễn phí 3 con máy ảo, 1GB ram, cpu 1 core, 30gb sdd, của AWS
- Nếu bạn cần cloud ml pc, bạn có thể dùng tương tự hoặc qua paperspace từ $0.5 tới $1.7/giờ
- Nếu bạn cần một máy riêng với GPU khủng, rồi có sẵn ảnh mặt người, ảnh đồ vật để train, cài sẵn tensorflow, opencv, ... và bạn chỉ cần bật máy đó lên chạy. AWS có ngay cho bạn, Ví dụ đây là máy $0.03/giờ, thông số như sau:

ML Workbench for TensorFlow
(1) | v1.2.2 Previous versions | By netCubed
Starting from $0.03/hr or from $150.00/yr (43% savings) for software + AWS usage fees
Product highlights:
ZERO CONFIGURATION: Immediately get started with developing and training your model
SECURE: Encryption in transit by default and strong user authentication
NO SSH NECESSARY: All features, including tensorboard, jupyter notebook and the graphical desktop environment, can be accessed through the browser
Ubuntu 18.04 with Jupyter, JupyterLab, TensorBoard and preconfigured conda environments for Tensorflow 1.14.0 and TensorFlow 2 Beta including the latest matching versions of CUDA 10.0 and cuDNN 7.6.2 for GPU-accelerated computing. There is no need for an SSH session to launch a notebook. All services, including TensorBoard and the Ubuntu MATE desktop, can be accessed through the browser. Check out the video to see how to start training your first model on a GPU in less than 5 minutes. Additionally, this environment provides a full-featured Ubuntu MATE desktop environment and direct console access through the browser with the latest versions of Google Chrome, Visual Studio Code and Docker (including the NVIDIA Container Runtime). The Machine Learning Workbench puts a focus on security. All communication to the instance is encrypted, launching and accessing the Jupyter Notebook requires username and password authentication.

.
.
.
Khủng hơn thế này:
DeepDetect Deep Learning GPU Server
(0) | 1.4 Previous versions | By Jolibrain SASU
Starting from $0.99 to $2.39/hr for software + AWS usage fees
Ubuntu | 64-bit (x86) Amazon Machine Image (AMI) | Updated: 5/3/19
Production-ready DeepDetect Deep Learning Server with GPU support, REST API and pre-trained models
Product highlights:
Production-grade server embeds the best Deep Learning technology, ready-to-use, with pre-trained models, powers your applications in minimum time
Optimized for multicore CPU and GPU, high performance training and low-latency prediction
Easy API and flexible template output format for a range of applications, from image tagging, object detection, segmentation, OCR, text, ...
DeepDetect is an Open Source server and REST API to bring full Deep Learning into production with application to images, text and raw data alike. It has built-in support for Deep Learning libraries Caffe and Tensorflow, and XGBoost. It comes ready to use and with a range of pre-trained state of the art deep neural network models for images (classification, fashion, ...) and text (sentiment, ...).