Welcome fans to 🎯Team VN Covid19 truy lùng F5 tới F1🎯 dưới đây
Các fans xem xét có time tham gia được không nhé.
👉Nhóm tập hợp công sức tình nguyện các fans làm ONLINE để cố gắng chống lại độ lây lan của Covid19 tại Việt Nam.
Danh sách Reg: https://docs.google.com/spreadsheets/d/1aqf_cZX2-PJoMvgzdzMjs3KYpNcHlRhRok26fHsUwkg/edit?usp=sharing
#koolj_dataengineering
#F5F1
#VietnamAgainstCovid19
👉Hypothesis được duyệt từ Google:
https://docs.google.com/document/d/1YDUmH2esM3m1dNGNJZZbz9YYYZ_t6feG10fzBhO23Ks/edit?usp=sharing
👉Yêu cầu từ Bộ Y Tế, Phó thủ tướng:
https://drive.google.com/drive/folders/12FZn2BUX6BVVP4WPwGd5p1zJ2G1dtZLL?usp=sharing
🎯Các tài trợ
- Từ Google: $3000
- Từ các Nhà hảo tâm, Mạnh thường quân, xin qua: dathoc.net/donation
.
.
👉Yêu cầu:
- Hoặc bạn có khả năng build mô hình nhận dạng ảnh với nội dung trong đó qua Yolo3, đưa qua CUDA, tạo api đầu ra. Ví dụ: https://github.com/dusty-nv/jetson-inference/blob/master/docs/imagenet-example-python-2.md
- Hoặc bạn có khả năng tạo mô hình phân nhóm text cho các dữ liệu đầu vào, qua nlp, qua bot (RASA là ví dụ), tạo api đầu ra, ví dụ: https://08a05d0d.ngrok.io/map
- Hoặc bạn có khẳ năng vơ vét dữ liệu số mọi nơi, đổ về một nơi qua Nifi, ví dụ: https://community.cloudera.com/t5/Community-Articles/Accessing-Facebook-Page-Data-from-Apache-NiFi-1-2/ta-p/246915
- Bạn có tâm huyết, khả năng học hỏi cao, khả năng đọc thông thạo tài liệu nmt, rnn, nlp, ... sẵn sàng thực hành các kỹ thuật crawl, transform data, học thuật thuật toán áp dụng
- Và có khả năng lập trình python/scala là MUST
Share tài nguyên nhóm (chỉ cho các bạn ghi danh):
https://drive.google.com/open?id=13QN5aCg2-wwmV-tzWtGr5-yWQcjafHDV
🎯Output sample: https://dathoc.net/covidvn.html
Ghi danh: https://forms.gle/mmdEm6z5hrSxxbHJA
Link tham gia Discord: https://discord.gg/79BVua7
.
.
=================================================
🎯Tasking: Tất cả đang 0% progress:
👉0. Dựng hệ thống: Done 100%
👉1. Lấy từ VOZ (https://forums.voz.vn/forumdisplay.php?f=17) và các phòng con bên trong - phân công bạn Mạnh + Danh+ Hồ Hưng....đang 0% progress
👉2. Lấy từ Otofun (https://www.otofun.net/forums/quan-cafe-otofun.77/page-261) và các phòng con - phân công bạn Nga + Vân+ Hồ Hưng ....đang 0% progress
👉3. Lấy từ Webtretho (https://www.webtretho.com/f/tam-su-chuyen-doi) và các phòng con - phân công Phú + Hoàng + Bảo Hưng.....đang 0% progress
👉4. Lấy từ Facebook - điểm check in - phân công Hồng thái + Chu minh + Sáng + Bích Hồng + Bảo Hưng.....đang 0% progress
👉5. Lấy từ Facebook - ca thán, comment, post.... group Bà mẹ bỉm sữa - vì có thể là group đóng nên cần pà con đăng ký thành viên để quét - phân công Tuyên + Minh Huy + Hồ Hưng + Trung Ba....đang 0% progress
👉6. Lấy từ Facebook - ca thán, comment, post.... group Phòng trút giận - vì có thể là group đóng nên cần pà con đăng ký thành viên để quét - phân công Xuân Anh + Nguyên + Thế Hoàng + Hồ Hưng+ Bảo Hưng....đang 0% progress
👉7. Lấy từ Facebook - ca thán, comment, post....group Ký sự đường phố - vì có thể là group đóng nên cần pà con đăng ký thành viên để quét - phân công Hoài + Trung Ba + Thiện Đăng + Giao Nguyễn....đang 0% progress
👉8. Lấy từ Facebook - ca thán, comment, post.... group Không sợ chó - vì có thể là group đóng nên cần pà con đăng ký thành viên để quét - phân công Thanh Dân + Bảo Hân + Hoàng Huy + Hồ Hưng....đang 0% progress
👉9. Lấy từ Facebook - ca thán, comment, post.... group Beat.vn - vì có thể là group đóng nên cần pà con đăng ký thành viên để quét - phân công cho Nguyên + Hồ Hưng + Hoài + Thanh Dan+ Bảo Hưng....đang 0% progress
👉10. Lấy từ Facebook - ca thán, comment, post....group Tâm sự Eva từ 1 tới 56 - vì có thể là group đóng nên cần pà con đăng ký thành viên để quét - phan cho Giao Nguyễn + Trung Ba + Văn Sáng + Hoài + Hồng THái....đang 0% progress
👉11. Những nơi khác mà bạn biết.
👉12. Tạo mô hình nhận diện ảnh (tạo mô hình, chuyển sang NVIDIA CUDA, tạo api). Đầu vào là một URL/base64, đầu ra là chữ mô tả những thông tin trong ảnh. Tạo cho tốc độ scan nhanh nhất có thể
👉13. Tạo mô hình nhận diện text nhóm text (tạo mô hình, nên dùng Spacy, nmt, rnn...., tạo bot, tạo api). Đầu vào là một từ điển, một nhóm text, đầu ra là độ xác thực x/10, % độ tin cậy
👉14. Tạo mô hình nhận diện text nhóm text (tạo mô hình, nên dùng Spacy, nmt, rnn...., tạo bot, tạo api). Đầu vào là một nhóm text, đầu ra là phân vùng nhóm 2 từ, 3 từ, trọng số nhóm 2 từ, 3 từ
👉15. Tạo mô hình mapping (từ task14) đánh chỉ mục các phân bổ cum 2 từ, 4 từ thành loại/phạm trù riêng
.
.
=================================================
Tiếp tới gửi các bạn API và Tool Crawl, mình để đây:
🎯A. Tool CRAWL:
- Bạn có thể dùng tool của bạn, hoặc
- Thử với HERA
https://drive.google.com/file/d/1mto6iePqcIkeA4pQ9tTRwp5UuI1bUsuX/view?usp=sharing
- Hướng dẫn sử dụng tool crawl HERA:
https://drive.google.com/file/d/1GbBHsJZF_MdCAqTpk0VoqRHBupv9qeXq/view?usp=sharing
🎯B. Các API cho các bạn dùng tool ngoài hoặc ghép với tool trên
Vậy chúng ta thống nhất các api các ban tham gia chtr đây nhé.
- api LOGIN: đăng nhập user để sử dụng api còn lại
- api TODB: đưa data lấy đc lên DB
- api VIEWDB: view lại những gì các bạn vừa lưu
- api GET LATLONG: lấy ra lat long từ 1 địa chỉ nhập vào
- api SYMPTOM NLP: tìm những từ khoá và rate trong nhóm từ khoá
User name + Password
<trong mail sau đăng ký>
Chi tiết các API sử dụng như sau:
HOST: https://a2fb0d5b.ngrok.io
1. Đầu tiên các bạn cần login để lay tokenkey
-------------------------------------------> LOGIN
POST https://a2fb0d5b.ngrok.io/api/loginUser
INPUT
{
"email":"cod@1.com",
"password":"xxx"
}
OUTPUT
{
"result": "0",
"message": "Login successfully!",
"tokenKey": {
"tokenKey": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXV...",
"currentrule": 3,
"currentcredit": 300
}
}
=================================================
2. Sau đó các bạn có thể dùng các API còn lại với tokenkey đã tạo ở (1)
-------------------------------------------> TODB
POST .../api/todb
INPUT
{
"id": "thoa9879871",
"timepost": "2020-03-02T00:00:00",
"lat": "20.37182",
"lng": "105.12473",
"urlpost": "https://vnexpress.net/bong-da/....",
"contentpost": "o hình thức lượt đi, lượt về trên sân nh...",
"nlprate": "1",
"tokenkey":"eyJhbGciOiJIUzI1NiIsInR5cCI6IkpX..."
}
OUTPUT
{
"result": "0",
"message": "Save db done!"
}
-------------------------------------------> VIEWDB
POST .../api/viewdb
{
"field": "id",
"fieldvalue": "thoa9879871",
"tokenkey":"eyJhbGciOiJIUzI1NiIsInR5cCI6Ikp...."
}
OUTPUT
{
"id": "thoa9879871",
"timepost": "2020-03-02T00:00:00",
"lat": "20.37182",
"lng": "105.12473",
"urlpost": "https://vnexpress.net/bong-da/sau-do...",
"contentpost": "o hình thức lượt đi, lượt về trên sân n....",
"nlprate": "1"
}
-------------------------------------------> GET LATLONG
POST .../api/getll
INPUT
{
"addr":"2 quan hoa",
"tokenkey":"eyJhbGciOiJIUzI1NiIsInR5c..."
}
OUTPUT
{
"result": "0",
"message": "Get latlng done!",
"rep": {
"lat": 20.37182,
"lng": 105.12473
}
}
-------------------------------------------> SYMPTOM NLP
POST .../api/symptomnlp
INPUT
{
"standard":"từ nhẹ đến nặng bao gồm: sốt, ho và khó thở. Các triệu chứng này có thể xuất hiện từ 02 đến 14 ngày sau khi tiếp xúc nguồn bệnh. Tới khi khởi phát, nCOV gây sốt và có thể tổn thương đường hô hấp. Trường hợp nặng, gây viêm phổi và có thể nhiều cơ quan khác trong cơ thể khiến bệnh nhân tử vong, nhất là các trường hợp có bệnh nền",
"target":"sốt, ho và khó thở.",
"tokenkey":"eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXV..."
}
OUTPUT
{
"result": "0",
"message": "NLP done!",
"rep": {
"rate": 1,
"accuracy": 5
}
}
.
.
=================================================
👉Nhóm tập hợp công sức tình nguyện các fans làm ONLINE để cố gắng chống lại độ lây lan của Covid19 tại Việt Nam.
Trước hết các bạn khai danh tính tại đây:
https://forms.gle/mmdEm6z5hrSxxbHJA
Sau đó các bạn cài app Discord và vào room:
https://discord.gg/79BVua7
👉Các tài trợ từ các Nhà hảo tâm, Mạnh thường quân, xin qua: dathoc.net/donation
Welcome công sức của các bạn.
Có gì các bạn chưa rõ alert lại mình.
