cerebras.modelzoo.data_preparation.nlp.data_dedup.generate_duplicate_pairs.generate_pairs

cerebras.modelzoo.data_preparation.nlp.data_dedup.generate_duplicate_pairs.generate_pairs(args)

previous

cerebras.modelzoo.data_preparation.nlp.data_dedup.generate_duplicate_pairs.custom_progress_bar

next

cerebras.modelzoo.data_preparation.nlp.data_dedup.generate_duplicate_pairs.get_hashes