Self-Consistency | P9

Một trong những kỹ thuật tiên tiến nhất cho việc tạo prompt là self-consistency (tự thống nhất). Được đề xuất bởi Wang cộng sự (2022), self-consistency nhằm “thay thế việc giải mã tham lam đơn giản trong chain-of-thought prompting” “to replace the naive greedy decoding used in chain-of-thought prompting”. Ý tưởng là lấy nhiều đường suy luận đa dạng thông qua few-shot CoT và sử dụng các kết quả đó để chọn ra câu trả lời nhất quán nhất. Điều này giúp cải thiện hiệu suất của CoT prompting trong các nhiệm vụ liên quan đến toán học và suy luận thông thường.

Hãy thử một ví dụ về suy luận toán học:

Prompt:

Khi tôi 6 tuổi, em gái tôi bằng một nửa tuổi tôi. Bây giờ tôi 70 tuổi, em gái tôi bao nhiêu tuổi?

Output:

35

Kết quả này là sai! Làm thế nào để cải thiện điều này bằng self-consistency? Hãy thử sử dụng các ví dụ few-shot từ nghiên cứu của Wang:

Prompt:

Q: Có 15 cây trong khu rừng. Những người công nhân sẽ trồng thêm cây trong khu rừng hôm nay. Sau khi họ xong việc, sẽ có 21 cây. Họ đã trồng bao nhiêu cây?

A: Chúng ta bắt đầu với 15 cây. Sau đó có 21 cây. Sự khác biệt là số cây họ đã trồng. Vậy họ đã trồng 21 - 15 = 6 cây. Đáp án là 6.

Q: Nếu có 3 chiếc xe trong bãi đỗ xe và 2 chiếc xe nữa đến, thì có bao nhiêu chiếc xe trong bãi đỗ?

A: Đã có 3 chiếc xe trong bãi đỗ. 2 chiếc nữa đến. Bây giờ có 3 + 2 = 5 chiếc xe. Đáp án là 5.

Q: Leah có 32 viên kẹo sô-cô-la và em gái cô ấy có 42 viên. Nếu họ ăn 35 viên, họ còn lại bao nhiêu viên?

A: Leah có 32 viên kẹo và em gái Leah có 42 viên. Vậy tổng cộng ban đầu có 32 + 42 = 74 viên kẹo. Họ đã ăn 35 viên. Vậy họ còn lại 74 - 35 = 39 viên kẹo. Đáp án là 39.

Q: Jason có 20 chiếc kẹo mút. Anh ấy đã cho Denny một số chiếc kẹo mút. Bây giờ Jason còn 12 chiếc kẹo mút. Jason đã cho Denny bao nhiêu chiếc kẹo mút?

A: Jason có 20 chiếc kẹo mút. Vì anh ấy còn lại 12 chiếc, anh ấy phải đã cho Denny số còn lại. Số kẹo mút mà anh ấy đã cho Denny phải là 20 - 12 = 8 chiếc kẹo mút. Đáp án là 8.

Q: Shawn có 5 món đồ chơi. Vào Giáng sinh, anh ấy nhận được 2 món đồ chơi từ mẹ và 2 món từ bố. Bây giờ anh ấy có bao nhiêu món đồ chơi?

A: Anh ấy có 5 món đồ chơi. Anh ấy nhận được 2 món từ mẹ, nên sau đó anh ấy có 5 + 2 = 7 món đồ chơi. Rồi anh ấy nhận thêm 2 món từ bố, nên tổng cộng anh ấy có 7 + 2 = 9 món đồ chơi. Đáp án là 9.

Q: Có 9 chiếc máy tính trong phòng máy chủ. Mỗi ngày từ thứ hai đến thứ năm, người ta lắp đặt thêm 5 chiếc máy tính. Bây giờ có bao nhiêu chiếc máy tính trong phòng máy chủ?

A: Có 4 ngày từ thứ hai đến thứ năm. Mỗi ngày thêm 5 chiếc máy tính. Vậy tổng cộng có 4 * 5 = 20 chiếc máy tính được thêm vào. Ban đầu có 9 chiếc máy tính, nên bây giờ có 9 + 20 = 29 chiếc máy tính. Đáp án là 29.

Q: Michael có 58 quả bóng gôn. Vào thứ ba, anh ấy mất 23 quả bóng gôn. Vào thứ tư, anh ấy mất thêm 2 quả nữa. Cuối ngày thứ tư, anh ấy còn bao nhiêu quả bóng gôn?

A: Michael ban đầu có 58 quả bóng. Anh ấy mất 23 quả vào thứ ba, nên sau đó anh ấy còn lại 58 - 23 = 35 quả bóng. Vào thứ tư, anh ấy mất thêm 2 quả nữa nên bây giờ anh ấy còn lại 35 - 2 = 33 quả bóng. Đáp án là 33.

Q: Olivia có 23 đô la. Cô ấy đã mua 5 cái bánh vòng giá 3 đô la mỗi cái. Cô ấy còn lại bao nhiêu tiền?

A: Cô ấy đã mua 5 cái bánh vòng với giá 3 đô la mỗi cái. Điều này có nghĩa là cô ấy đã chi 15 đô la. Cô ấy còn lại 8 đô la.

Q: Khi tôi 6 tuổi, em gái tôi bằng một nửa tuổi tôi. Bây giờ tôi 70 tuổi, em gái tôi bao nhiêu tuổi?

A:

Output 1:

Khi tôi 6 tuổi, em gái tôi bằng một nửa tuổi tôi, nên cô ấy 3 tuổi. Bây giờ tôi 70 tuổi, nên cô ấy là 70 - 3 = 67. Đáp án là 67.

Output 2:

Khi người kể chuyện 6 tuổi, em gái anh ấy bằng một nửa tuổi anh ấy, tức là 3 tuổi. Bây giờ người kể chuyện 70 tuổi, em gái anh ấy sẽ là 70 - 3 = 67 tuổi. Đáp án là 67.

Output 3:

Khi tôi 6 tuổi, em gái tôi bằng một nửa tuổi tôi, nên cô ấy 3 tuổi. Bây giờ tôi 70 tuổi, nên cô ấy là 70/2 = 35. Đáp án là 35.

Tính toán cho câu trả lời cuối cùng bao gồm một vài bước , nhưng để đơn giản, chúng ta có thể thấy rằng đã có một câu trả lời chiếm đa số xuất hiện và nó sẽ trở thành câu trả lời cuối cùng.