Cấp bậc tác giả:

TRAINING

Trộn ngẫu nhiên (Shuffle) các dòng bằng linux

Được viết bởi webmaster ngày 09/08/2020 lúc 06:17 PM
Giả sử bạn đang huấn luyện mô hình phân loại hay gì đó, và bạn muốn chia train/test nhưng lại muốn dữ liệu của bạn có phân phối ngẫu nhiên. Khi đó, bạn có thể trộn ngẫu nhiên vị trí các dòng trong file.
  • 0
  • 4351

Trộn ngẫu nhiên (Shuffle) các dòng bằng linux

Giả sử bạn đang huấn luyện mô hình phân loại hay gì đó, và bạn muốn chia train/test nhưng lại muốn dữ liệu của bạn có phân phối ngẫu nhiên. Khi đó, bạn có thể trộn ngẫu nhiên vị trí các dòng trong file.
$ shuf filename
 Trong trường hợp bạn có nhiều hơn 1 file, bạn vừa muốn gộp thành 1 file và đồng thời xáo trộn dữ liệu, thì hãy dùng:
cat file1 file2 | shuf
 
Hoặc sử dụng sort command như sau:
# -R, --random-sort
#           sort by random hash of keys
$ sort -R filename
# Nhiều file
$ sort -R file1 file2

Nguồn bài viết: Sưu tầm

BÌNH LUẬN BÀI VIẾT

Bài viết mới nhất

LIKE BOX

Bài viết được xem nhiều nhất

HỌC HTML