Home » Scala » Dùng scala để crawler dữ liệu

Dùng scala để crawler dữ liệu

Xin chào, mình là Thắng
Hôm nay mình sẽ hướng dẫn các bạn dùng scala để crawler dữ liệu từ website, mà cụ thể ở đây, mình sẽ crawler dữ liệu của http://labs.septeni-technology.jp/ 😀

Trước khi crawler, bạn hãy tham quan qua blog của SepTech nhé.

Ở blog này, mình sử dụng thư viện Jsoup


Bây giờ muốn crawler toàn bộ các blog, chúng ta cần phải giải quyết được 2 vấn đề sau:
1. Lấy được nội dung của một bài viết
2. Lấy được tất cả các url của các bài viết (lấy tất cả các trang + lấy tất cả link bài viết trong 1 trang)



Vấn đề 1: Chúng ta sẽ truy cập vào bài viết cụ thể, ở đây mình vào bài viết mới nhất luôn
Bạn có thể quan sát bài viết, và sẽ lấy những thông tin cần thiết, như tiêu đề, tác giả, nội dung, category, ngày public,…
Tiếp theo, ta sẽ xác định vị trí của các thông tin ở trên. Có thể ấn chuột phải, rồi view-source, hoặc inspect. Ở đây mình chọn inspect vì nó khá là tiện lợi.

Sau một hồi thì ta có các thông tin sau


View source at here

Kết quả:


Vấn đề 2: Lấy tất cả các url của bài viết.

* Lấy các url tại 1 page


  • Số lượng pages




Kết quả:


View-source

Tagged width:, ,