Bài viết chuyên sâu

Kho dữ liệu số, dữ liệu bản đồ vệ tinh, dữ liệu liên quan tới dân số Việt, dữ liệu ảnh mặt người, ảnh đồ vật, dữ liệu ...mọi mặt:

Kho dữ liệu số, dữ liệu bản đồ vệ tinh, dữ liệu liên quan tới dân số Việt, dữ liệu ảnh mặt người, ảnh đồ vật, dữ liệu ...mọi mặt:

by Admin Dathoc -
Number of replies: 0

Kho dữ liệu số, dữ liệu bản đồ vệ tinh, dữ liệu liên quan tới dân số Việt, dữ liệu ảnh mặt người, ảnh đồ vật, dữ liệu ...mọi mặt:

Thông thường bạn vào kaggle.com, xong nếu đặc thù hơn bạn vào:


1.  Từ chính thống gov VietNam

https://open.data.gov.vn/

https://opendata.hochiminhcity.gov.vn/

(thông thường nguồn này ít số liệu, chỉ là thông báo, bố cáo, báo chí)


2. Dân số, và liên quan dân số

https://data.humdata.org/dataset/vietnam-high-resolution-population-density-maps-demographic-estimates

https://populationstat.com/vietnam/

https://data.humdata.org/group/vnm

https://energydata.info/dataset/vietnam--population-density-2015/resource/89c7613c-b164-486d-9d0d-dec96d99ecb9?inner_span=True


3. Hình ảnh bản đồ từ vệ tinh, mọi nơi (ngoài Bing, Google Map, Here)

Lấy toàn bộ ảnh của Apple map:

https://github.com/Jimut123/jimutmap

Từ server Arcgis (đang miễn phí) qua USGS Earth Explorer này, cũng lại bắt đc url argis và lọc theo latlong:

https://earthexplorer.usgs.gov/

European Space Agency: Sentinel-2, tất nhiên phải lọc ra mới có ảnh ngã tư

http://www.esa.int/.../Observing.../Copernicus/Sentinel-2

Từ Nasa Earth, cũng phải tìm url get từng title lấy và lọc theo toạ độ

https://search.earthdata.nasa.gov/search

Từ AWS các dự án free và họ có sẵn ảnh sattelite, phải search tên dự án hoặc: Landsat, Sentinel-2, MODIS, Terrain Tiles

https://aws.amazon.com/public-datasets/

Một số source khác:

https://gisgeography.com/free-satellite-imagery-data-list/


4. Hình ảnh mặt người Việt

http://afad-dataset.github.io/

Tool tự động search tự động lấy

https://www.youtube.com/watch?v=lLDrUuw1RHc&t=3s

Ảnh từ asia face

http://afad-dataset.github.io/

https://github.com/deepinsight/insightface/wiki/Dataset-Zoo

https://htsuda.net/archives/317

http://vis-www.cs.umass.edu/lfw/


5. Dữ liệu bản đồ title, vẽ hình

https://data.humdata.org/search?q=geodata

https://data.maptiler.com/downloads/planet/

https://opendata.hcmgis.vn/

http://freegisdata.org/place/237281/

https://www.facebook.com/GisVietNamGeoraphicInformationSystemVietNam/

http://www.geoviet.vn/tu-lieu-nguon/en/436/285/baiviet/0/gis-data-and-maps.aspx


6. Dữ liệu đi lại grab, kèm sự lan toả covid tháng 3/2020

http://dathoc.net/covidvn.html


7. Realtime GDP,  social media info

https://www.worldometers.info/


8.  Dữ liệu ảnh XQuang cho chẩn đoán Y học

Bộ sưu tập đủ loại cancer tới các loại sỏi đá kim cương trong cơ thể
https://www.cancerimagingarchive.net/collections/
Có điểm rất hay là nguồn này nó có phần view xray rất cool, zoom, xoay, chỉnh sáng xem như trong bệnh viện ý!

Sưu tập của NIHCC mà Google vẫn share cho all
https://nihcc.app.box.com/v/ChestXray-NIHCC

Sưu tập 5K xray dataset cho Covid:
https://www.dropbox.com/s/9w8nmj791c9ogsx/data_upload_v3.zip?dl=0

15k xray ngực phổi từ Vingroup
https://www.kaggle.com/c/vinbigdata-chest-xray-abnormalities-detection/data

1k3 xray covid
https://www.kaggle.com/c/dlai3/data

3k8 xray covid
https://www.kaggle.com/tawsifurrahman/covid19-radiography-database

Xray covid lẻ tẻ khác
200 img: https://github.com/ieee8023/covid-chestxray-dataset
90 img: https://www.kaggle.com/alifrahman/covid19-chest-xray-image-dataset

12k xray xương và đổ tuổi
https://www.kaggle.com/kmader/rsna-bone-age

Chẩn xương loãng
https://biomedpharmajournal.org/vol12no1/xsitray-a-database-for-the-detection-of-osteoporosis-condition/

116 xray răng
https://data.mendeley.com/datasets/hxt48yk462/2

Model răng
https://github.com/clemkoa/tooth-detection

9. Dữ liệu voice audio Việt cho luyện speech to text


Vietnamese Speech Recognition Corpus- (Mobile)- 144 Speaker - 76.6 hours by Speechocean (2017) data $

https://www.kaggle.com/flightstar/vn-vn-dataset


Vietnamese Speech Recognition Corpus-(In-Car)-300 Speakers - 305 hours by Speechocean (2017) data $

(lost)https://kingline.speechocean.com/exchange.php?id=3333&act=view


Globalphone Vietnamese - 22.5 hours of read speech from 15 Vietnamese online newspapers by ELRA (2012) data $

http://catalog.elra.info/en-us/repository/browse/ELRA-S0322/


VIVOS - a free Vietnamese speech corpus consisting of 15 hours of recording speech by AILab (2017) data

https://ailab.hcmus.edu.vn/vivos


Tone VN songs melody

https://datashare.ed.ac.uk/handle/10283/2047


10. Dữ liệu biểu mẫu cho thực thi 6 sigma, kiểm soát chất lượng, tính dòng tiền, công thức cân đối nợ tài chính...

https://exinfm.com/free_spreadsheets.html

https://exinfm.com/six_sigma_project_files.html

https://exinfm.com/training/miscfiles.html

https://exinfm.com/board/index.html

https://www.mic.gov.vn/mra/Pages/TinTuc/134582/Danh-muc-Tieu-chuan-quoc-gia-linh-vuc-Thong-tin-va-Truyen-thong.html

http://www.cadivi-vn.com/vn/chung-nhan-chat-luong-1569572192.html

https://www.tutorialspoint.com/cmmi/cmmi-maturity-levels.htm

http://itq.ch/pdf/sqm/sqm_ochs_SiemensMetrics.pdf

--------------

🎯Phần 2 - Anh chị e mong muốn lấy data dữ liệu của VN, các ngành nghề - tiếp tục phần 2, với Giới thiệu Niên giám thống kê 1000 trang, bản full, cấp Nhà nước - kèm các báo cáo chỉ số tính theo giai đoạn từ năm 2016 tới 2020 (ấn bản từ tháng 6/2021)


Tới tháng 6/2022 sẽ ấn bản cho năm 2021. 

.

.

Như phần 1 đã giới thiệu anh chị em về các nguồn trong dathoc .net/kho


👉A. Vậy ở đây xin giới thiệu các nguồn tin cậy từ chính Niên giám thống kê:

https://www .gso .gov .vn/wp-content/uploads/2021/07/Sach-NGTK-2020Ban-quyen.pdf

1. Tổng quan kinh tế - xã hội Việt Nam 5 năm 2016-2020 - trang 9

2. Đơn vị Hành chính, Đất đai và Khí hậu

3. Dân số và Lao động - trang 65

4. Tài khoản Quốc gia, Ngân sách Nhà nước, Ngân hàng và Bảo hiểm

5. Doanh nghiệp, Hợp tác xã và Cơ sở kinh tế cá thể phi nông nghiệp

6. Nông, Lâm nghiệp và Thuỷ sản - trang 487

7. Thương mại và Du lịch

8. Chỉ số giá - Price index - trang 661

9. Vận tải và Bưu chính, Viễn thông

10. Giáo dục - Education - trang 761

11. Y tế, Văn hóa, Thể thao, Mức sống dân cư,

12. Trật tự, an toàn xã hội, tư pháp và Môi trường

13. Số liệu thống kê nước ngoài - International Statistics - trang 911

.

.

👉B. Một số các đào bới khác liên quan tới:

1. Tỷ lệ tội phạm ở Việt Nam, tính tới từng thành phố 2021, dự báo 2022

- https://www. numbeo. com/crime/in/Hanoi


2. Số nhà, tên phố, tên ngõ, ngách từ https://planet .openstreetmap .org/ , các file PBF, 200GB từ mọi nơi trên Thế Giới; từ đó extract sang các Tỉnh ỏ VN

- https://planet .openstreetmap .org/

- https://download .geofabrik. de/

- http://adrianulbona .github. io/2016/12/18/osm-parquetizer.html


3. Lượt đi về xe Grab, Uber, Be... trên các Tỉnh ở Việt Nam; dữ liệu từ Google (chứ không phải lấy từ các bạn từ Hãng, đang giấu kỹ)

- https://www. researchgate. net/publication/342050321_Taxi_transport_characteristics_in_Vietnam/link/5eebaa69458515814a6a84cd/download

- https://repository .vnu. edu .vn/bitstream/VNU_123/70394/1/00051000409.pdf

- https://www .researchgate .net/publication/351645096_Analysis_Study_of_Current_Transportation_Status_in_Vietnam's_Urban_Traffic_and_the_Transition_to_Electric_Two-Wheelers_Mobility/link/60a562db92851c43da0235ef/download

- https://journals .sagepub .com/doi/pdf/10.1177/2158244019841928

- https://www. vanlangun .edu. vn/images/2020/12/nckh/THE_OUTSTANDING_SUCCESS_OF_GRAB_AND_IMPLICATIONS_TO_THE_TRADITIONAL_TAXI_-_V%C3%B5_Minh_Hi%E1%BA%BFu_-_Khoa.pdf


4. Mật độ tần suất giao thông, và ảnh hưởng ô nhiễm từ 1993 tới 2021, qua 5 thành phố lớn

- https://tuewas-asia .org/wp-content/uploads/2017/05/7-Tracking-SustainaVietnam.pdf

- https://link .springer .com/article/10.1007/s13177-021-00283-0

- https://www. mdpi. com/2071-1050/13/10/5577/pdf

- https://www .gso .gov. vn/en/data-and-statistics/2021/10/infographic-transport-telecommunication-and-tourist-in-9-months-of-2021/


5. Mật độ lũ, bão, mức nước các địa phương.... từ UNDP

- https://www. preventionweb .net/files/26598_26598apreliminaryanalysisoffloodand.pdf

- https://floodadapt .eoc .dlr. de/media/pdfs/jfr3.12689.pdf

.

.

6. Thống kê cho ngành Ship/Delivery Food (hàng ăn nhanh, đi chợ...)

- http://m .hanoitimes. vn/would-baemin-overtake-grab-food-in-vietnam-food-delivery-app-market-315444.html

- https://agfstorage .blob .core. windows .net/misc/FP_com/2019/12/12/Viet.pdf

- https://assets .grab. com/wp-content/uploads/media/si/reports/Grab-ESG-Report-2020.pdf

- https://britchamvn .com/wp-content/uploads/2020/12/Vietnam-2020-%E2%80%93-Food-And-Beverages-Retail-Report.pdf

- https://www .statista .com/topics/8508/online-food-delivery-in-vietnam/#dossierKeyfigures


.

.

7. Khảo sát tiêu dùng hậu Covi.d từ Bộ Công Thương, Google

- https://www. gstatic .com/covid19/mobility/2022-02-04_VN_Mobility_Report_en.pdf

- Năm 2021: https://www2 .deloitte. com/content/dam/Deloitte/vn/Documents/consumer-business/vn-cb-consumer-survey-2021-vn-version.pdf

- 2011-2015: http://en .vcca .gov .vn/data/a5a0e929-9206-437a-9a89-9fe0bef1d496/userfiles/files/BAO%20CAO%20KET%20QUA%20KHAO%20SAT%20NHAN%20THUC%20CUA%20NTD%20VE%20BVQLNTD.pdf