Generated Knowledge Prompting | P10

Các mô hình ngôn ngữ (LLMs) tiếp tục được cải thiện và một kỹ thuật phổ biến là tích hợp kiến thức hoặc thông tin để giúp mô hình đưa ra dự đoán chính xác hơn.

Sử dụng ý tưởng tương tự, mô hình có thể tạo ra kiến thức trước khi đưa ra dự đoán không? Đó là điều mà bài báo của Liu và cộng sự 2022 thử nghiệm – tạo ra kiến thức để sử dụng như một phần của prompt. Đặc biệt, kỹ thuật này có hiệu quả như thế nào đối với các nhiệm vụ như suy luận thông thường?

Hãy thử một prompt đơn giản:

Prompt:

Một phần của golf là cố gắng đạt được tổng điểm cao hơn người khác. Đúng hay Sai?

Output:

Đúng.

Loại sai sót này cho thấy giới hạn của LLMs trong việc thực hiện các nhiệm vụ đòi hỏi nhiều kiến thức về thế giới. Làm thế nào để cải thiện điều này bằng cách tạo ra kiến thức?

Đầu tiên, chúng ta tạo ra một vài “kiến thức” (knowledge):

Prompt:

Input: Hy Lạp lớn hơn Mexico. 

Knowledge: Hy Lạp có diện tích khoảng 131.957 km², trong khi Mexico có diện tích khoảng 1.964.375 km², lớn hơn Hy Lạp 1.389%.

Input: Kính luôn bị mờ. 

Knowledge: Sự ngưng tụ xảy ra trên kính khi hơi nước từ mồ hôi, hơi thở và độ ẩm môi trường tiếp xúc với bề mặt lạnh, ngưng tụ thành những giọt nước nhỏ, tạo thành một lớp mà bạn thấy như sương mờ. Kính của bạn sẽ tương đối lạnh so với hơi thở của bạn, đặc biệt là khi không khí bên ngoài lạnh.

Input: Cá có khả năng suy nghĩ. 

Knowledge: Cá thông minh hơn vẻ bề ngoài. Trong nhiều lĩnh vực, như trí nhớ, khả năng nhận thức của chúng tương đương hoặc vượt trội hơn so với các loài động vật có xương sống 'cao cấp' khác bao gồm cả linh trưởng không phải con người. Trí nhớ dài hạn của cá giúp chúng theo dõi các mối quan hệ xã hội phức tạp.

Input: Một tác động phổ biến của việc hút nhiều thuốc lá trong đời là tăng nguy cơ bị ung thư phổi. 

Knowledge: Những người hút trung bình ít hơn một điếu thuốc mỗi ngày trong suốt cuộc đời có nguy cơ tử vong do ung thư phổi gấp 9 lần so với những người không bao giờ hút thuốc. Trong số những người hút từ một đến 10 điếu thuốc mỗi ngày, nguy cơ tử vong do ung thư phổi cao gần gấp 12 lần so với những người không bao giờ hút thuốc.

Input: Một viên đá có cùng kích thước với một viên sỏi. 

Knowledge: Một viên sỏi là một mảnh đá có kích thước hạt từ 4 đến 64 milimet theo thang đo Udden-Wentworth trong địa chất học. Sỏi thường được coi là lớn hơn các hạt nhỏ (2 đến 4 milimet đường kính) và nhỏ hơn các hòn đá cuội (64 đến 256 milimet đường kính).

Input: Một phần của golf là cố gắng đạt được tổng điểm cao hơn người khác. 

Knowledge:

Knowledge 1:

Mục tiêu của golf là chơi một loạt các lỗ với số lần gạt ít nhất. Một vòng golf thường bao gồm 18 lỗ. Mỗi lỗ được chơi một lần trong vòng trên một sân golf tiêu chuẩn. Mỗi lần gạt được tính là một điểm, và tổng số lần gạt được sử dụng để xác định người thắng cuộc.

Knowledge 2:

Golf là một môn thể thao câu lạc bộ và bóng chính xác, trong đó các người chơi (hoặc golfer) sử dụng nhiều loại câu lạc bộ để đánh bóng vào một loạt các lỗ trên sân với số lần gạt ít nhất. Mục tiêu là hoàn thành sân với điểm số thấp nhất, được tính bằng cách cộng tổng số lần gạt trên mỗi lỗ. Người chơi có điểm số thấp nhất sẽ thắng cuộc.

Chúng ta đang sử dụng prompt được cung cấp trong bài nghiên cứu của Liu và cộng sự 2022.

Bước tiếp theo là tích hợp kiến thức và đưa ra dự đoán. Mình đã định dạng lại câu hỏi thành định dạng QA để hướng dẫn cách trả lời.

Prompt:

Question: Một phần của golf là cố gắng đạt được tổng điểm cao hơn người khác. Đúng hay Sai? 

Knowledge: Mục tiêu của golf là chơi một loạt các lỗ với số lần gạt ít nhất. Một vòng golf thường bao gồm 18 lỗ. Mỗi lỗ được chơi một lần trong vòng trên một sân golf tiêu chuẩn. Mỗi lần gạt được tính là một điểm, và tổng số lần gạt được sử dụng để xác định người thắng cuộc. 

Explain and Answer:

Answer 1 (confidence very high):

Sai, mục tiêu của golf không phải là đạt được tổng điểm cao hơn người khác. Thay vào đó, mục tiêu là chơi một loạt các lỗ với số lần gạt ít nhất. Tổng số lần gạt được sử dụng để xác định người thắng cuộc, không phải tổng số điểm.

Question: Một phần của golf là cố gắng đạt được tổng điểm cao hơn người khác. Đúng hay Sai? 

Knowledge: Golf là một môn thể thao câu lạc bộ và bóng chính xác, trong đó các người chơi (hoặc golfer) sử dụng nhiều loại câu lạc bộ để đánh bóng vào một loạt các lỗ trên sân với số lần gạt ít nhất. Mục tiêu là hoàn thành sân với điểm số thấp nhất, được tính bằng cách cộng tổng số lần gạt trên mỗi lỗ. Người chơi có điểm số thấp nhất sẽ thắng cuộc. 

Explain and Answer:

Answer 2 (confidence is a lot lower):

Đúng, một phần của golf là cố gắng đạt được tổng điểm cao hơn người khác. Mỗi người chơi cố gắng hoàn thành sân với điểm số thấp nhất, được tính bằng cách cộng tổng số lần gạt trên mỗi lỗ. Người chơi có điểm số thấp nhất sẽ thắng cuộc.

Một vài điều thú vị đã xảy ra với ví dụ này. Trong câu trả lời đầu tiên, mô hình rất tự tin nhưng trong câu trả lời thứ hai thì không. Tôi đã đơn giản hóa quy trình để minh họa nhưng có một vài chi tiết cần xem xét thêm khi đưa ra câu trả lời cuối cùng. Hãy xem bài báo để biết thêm chi tiết.