Nguyên soái Zhukov từng đánh giá về người chiến hữu Rokossovsky rằng: “Tôi không tưởng tượng có thể có một vị tướng tài năng toàn diện, hiệu quả và chăm chỉ hơn”.
Khi phát xít Đức mở chiến dịch Barbarossa tấn công Liên Xô vào tháng 6/1941, Rokossovsky là Tư lệnh Tập đoàn quân (TĐQ) 16 đóng ở Smolensk, một trong những hướng tấn công chủ yếu của quân Đức. Ngay lúc đó, Rokossovsky đã chứng tỏ mình là một chỉ huy quân sự tài năng và kiên quyết.
Với lực lượng ít ỏi của mình, ngày 28/7, ông chiếm được thị trấn Yartsevo (một trong những thị trấn đầu tiên của Liên Xô được giải phóng) từ tay quân Đức, trì hoãn cuộc tấn công của kẻ thù vào Moscow và giúp các đơn vị còn lại của hai TĐQ Xô-viết bị bao vây ở vùng lân cận Smolensk có thể thoát vây.
Trong giai đoạn khó khăn nhất của trận phòng thủ Moscow, TĐQ 16 của Rokossovsky bảo vệ thành công khu vực tây bắc thành phố khi đối mặt với những cuộc tấn công dữ dội của kẻ thù vượt trội về binh lực. Đầu tháng 12/1941, bộ đội dưới quyền ông chặn đứng quân Đức và tham gia vào cuộc phản công quy mô lớn của Hồng quân, đẩy quân phát xít ra xa thành phố 100 - 150km.
Trong trận Stalingrad, Tư lệnh Phương diện quân (PDQ) Sông Đông Rokossovsky chỉ huy bộ đội tiến hành thành công chiến dịch Chiếc vòng, lần lượt tiêu diệt quân địch ở phía tây rồi phía nam vòng vây do Hồng quân giăng ra; tiếp đó, chia cắt quân địch còn lại làm hai mảng để xóa sổ từng mảng một, buộc TĐQ 6 Đức quốc xã do Thống chế Paulus chỉ huy phải đầu hàng.
Trong trận Vòng cung Kursk mùa hè năm 1943, Rokossovsky là Tư lệnh PDQ Trung tâm bảo vệ trận địa của Hồng quân. Ông đã tổ chức lực lượng phòng thủ ở phía bắc Kursk một cách khéo léo và không cho quân Đức bất kỳ cơ hội nào đột phá. Tiếp đó, ông chỉ huy cuộc phản kích ở khu vực phía tây Kursk dẫn đến thất bại hoàn toàn của quân Đức, rộng đường cho Hồng quân tiến vào Kiev.
Sau này, Nguyên soái viết trong hồi ký: “Chúng tôi không cần phải sử dụng quân dự bị của đại bản doanh và tự xoay xở nhờ triển khai lực lượng của mình một cách chính xác, tập trung vào khu vực có mối đe dọa lớn nhất”.
Ngày 23/6/1944, Hồng quân mở chiến dịch Bagration-được xem là chiến dịch thành công nhất trong toàn bộ chiến tranh Vệ quốc. PDQ Trung tâm lúc này đã được đổi tên thành PDQ Belorussia 1 dưới quyền chỉ huy của Rokossovsky, tham gia chiến dịch với tư cách là lực lượng tấn công chính.
Chỉ trong hai tháng, Hồng quân tiến gần 600km về phía tây, giải phóng toàn bộ lãnh thổ Belarus, một phần Baltic và đông Ba Lan. Cụm TĐQ Trung tâm của Đức hoàn toàn bị nghiền nát, còn Cụm TĐQ Bắc với gần 30 vạn quân bị cô lập hoàn toàn, bị dồn vào mũi đất Courland sát biển và mất hết vai trò cho đến khi chiến tranh kết thúc. Nhờ những chiến công liên tiếp, ngày 29/6/1944, Konstantin Konstantinovich được phong Nguyên soái Liên Xô.
Tháng 11/1944, khi các lực lượng của PDQ Belorussia 1 ở gần hơn và đã sẵn sàng cho một cuộc tiến công nhanh chóng vào trung tâm nước Đức, Rokossovsky được chuyển sang làm Tư lệnh PDQ Belorussia 2; Nguyên soái Zhukov thay ông làm tư lệnh PDQ Belorussia 1, là mũi chủ công tiến đánh Berlin.
Rokossovsky “chất vấn” Stalin tại sao lại bị điều chuyển chuyển từ hướng chính sang hướng phụ, Tổng tư lệnh Tối cao trả lời rằng Rokossovsky đã nhầm: Khu vực mà Rokossovsky được chuyển đến là một phần của khu vực tác chiến tổng thể phía tây trong đó lực lượng của ba PDQ (Belorussia 1, Belorussia 2 và Ukraine 1) sẽ hoạt động, và sự thành công của chiến dịch Berlin sẽ phụ thuộc vào sự phối hợp chặt chẽ của các PDQ này… “Nếu đồng chí và Konev (Tư lệnh PDQ Ukraine 1) không tiến lên được, Zhukov cũng sẽ không tiến lên được”.
Stalin cũng chấp thuận đề nghị bất thường của Rokossovsky, cho các đơn vị do ông chỉ huy tiến hành cùng lúc 2 cuộc tấn công, đánh tan các đơn vị rất mạnh của Đức ở Đông Phổ và Pomerania, đồng thời hạ gục TĐQ 3 thiết giáp của Đức, ngăn chặn lực lượng này tham gia phòng thủ Berlin, tạo điều kiện cho cánh trái của PDQ Belorussia 1 phát triển tiến vào làm chủ Berlin. PDQ Belorussia 2 đã giải phóng Đông Phổ, bắc Ba Lan và hội quân cùng lực lượng quân Anh trên sông Elber.
Chiến tranh kết thúc, Rokossovsky đảm nhiệm vị trí Tư lệnh các lực lượng Xô-viết ở Ba Lan. Tháng 10/1949, ông được Chính phủ Ba Lan phong quân hàm Nguyên soái CHND Ba Lan và đảm nhận chức vụ Bộ trưởng Bộ Quốc phòng Ba Lan. Sau khi trở về Liên Xô vào năm 1956, Rokossovsky lần lượt giữ chức Thứ trưởng Quốc phòng, Tư lệnh Quân khu Ngoại Kavkaz, Tổng thanh tra Bộ Quốc phòng và nghỉ hưu tháng 4/1962.
Konstantin Konstantinovich mất ngày 3/8/1968, thọ 74 tuổi. Ông được mai táng ở chân tường Điện Kremlin bên cạnh các nguyên soái Hồng quân khác.
Nguyên Phong