Không có câu lệnh nào khiến AI hết bịa hoàn toàn, nhưng năm câu chặn — chỉ dùng tài liệu được đưa vào, trích nguyên văn kèm vị trí, có câu thoát "không có trong tài liệu", tách phần lấy từ tài liệu với phần hiểu biết chung, và ghi mức chắc chắn — giảm mạnh số trích dẫn bịa và làm phần còn lại dễ bắt hơn. Phần còn lại phải được kiểm bằng nguồn chính thức, không có ngoại lệ.
Bài dành cho người làm luật dùng AI trong nghiên cứu và soạn thảo: vì sao AI bịa căn cứ pháp lý, năm câu chặn và cách viết, một mẫu câu lệnh nghiên cứu dựa trên văn bản bạn tự đưa vào, cách xử lý khi công cụ có tìm kiếm trên mạng, các dấu hiệu nhận biết trích dẫn bịa và quy trình kiểm từng trích dẫn.
Vì sao AI bịa điều luật và án lệ
Mô hình ngôn ngữ không có một cơ sở dữ liệu luật bên trong để tra. Nó học từ khối văn bản khổng lồ và tạo câu trả lời bằng cách đoán từ tiếp theo hợp lý nhất. Khi được hỏi "điều nào quy định về…", nó biết câu trả lời thường có dạng "theo Điều [số] Bộ luật…", và sẽ điền vào khuôn đó một con số trông hợp lý. Có khi đúng, vì văn bản đó xuất hiện nhiều trong dữ liệu học; có khi sai, và câu sai trông giống hệt câu đúng.
Pháp luật Việt Nam còn làm vấn đề nặng thêm: văn bản được sửa đổi, bổ sung, thay thế thường xuyên; nhiều nghị định, thông tư hướng dẫn cùng một luật; dữ liệu học của mô hình có mốc thời gian, nên kể cả khi nhớ đúng, nó có thể nhớ phiên bản đã hết hiệu lực. Với án lệ và bản án, khối dữ liệu công khai nhỏ hơn nhiều so với văn bản luật, nên khả năng bịa số hiệu, tình tiết càng cao.
Bài học từ vụ một luật sư ở Mỹ nộp lên toà bản lập luận có các án lệ do chatbot tạo ra năm 2023 không nằm ở chuyện công cụ tệ, mà ở chỗ người dùng tin một đầu ra có hình thức của trích dẫn. Câu lệnh tốt giảm rủi ro; thói quen kiểm từng trích dẫn mới loại bỏ được nó.
Năm câu chặn nên có trong mọi câu lệnh pháp lý
Giới hạn nguồn. "Chỉ dựa vào các văn bản dán dưới đây. Không dùng kiến thức bên ngoài để nêu điều luật, số hiệu văn bản, án lệ hay bản án." Câu này biến AI từ người "nhớ luật" thành người đọc văn bản bạn cung cấp — vai mà nó làm tốt hơn nhiều.
Trích nguyên văn kèm vị trí. "Mọi nhận định phải kèm trích nguyên văn trong ngoặc kép và ghi tên văn bản, điều, khoản." Nhờ đó mỗi nhận định đều kiểm được bằng chức năng tìm kiếm trong vài giây.
Câu thoát. "Nếu văn bản không trả lời được câu hỏi, ghi đúng cụm: không có trong tài liệu được cung cấp." Mô hình có xu hướng trả lời bằng mọi giá; cho nó một câu thoát được phép giúp nó ít bịa hơn.
Tách hai loại thông tin. "Nếu bạn nêu điều gì từ hiểu biết chung, ghi trước câu đó: ngoài tài liệu, cần kiểm." Đôi khi phần hiểu biết chung có ích, ví dụ gợi ý một văn bản nên tra thêm, nhưng phải được gắn nhãn rõ.
Mức chắc chắn. "Với mỗi nhận định, ghi mức: trích trực tiếp, suy ra từ văn bản, hoặc không chắc." Nhãn này cho bạn biết chỗ nào phải đọc kỹ nhất.
Mẫu câu lệnh nghiên cứu dựa trên văn bản bạn đưa vào
Cách an toàn nhất là bạn tự tải văn bản từ nguồn chính thức, kiểm hiệu lực, rồi đưa vào AI để đọc và sắp xếp. Câu lệnh mẫu: "Bạn là trợ lý nghiên cứu pháp lý. Dưới đây là toàn văn các văn bản pháp luật mà luật sư đã tải từ nguồn chính thức và xác nhận đang có hiệu lực, mỗi văn bản có tên ở đầu. Câu hỏi nghiên cứu: [câu hỏi, ví dụ giả định: điều kiện để bên thuê được đơn phương chấm dứt hợp đồng thuê tài sản]. Nhiệm vụ: tìm mọi quy định trong các văn bản này liên quan tới câu hỏi; với mỗi quy định, trích nguyên văn, ghi tên văn bản, điều, khoản, và tóm tắt một câu. Sau đó nêu những khía cạnh của câu hỏi mà các văn bản không trả lời. Không dùng nguồn ngoài; nếu nêu gì ngoài tài liệu, gắn nhãn 'ngoài tài liệu, cần kiểm'."
Phần "những khía cạnh không trả lời" đặc biệt hữu ích: nó chỉ ra văn bản nào bạn còn phải tìm thêm, chẳng hạn một nghị định hướng dẫn hay quy định chuyên ngành. Phần đó thay cho việc AI tự điền từ trí nhớ.
Việc tra văn bản theo số hiệu, kiểm hiệu lực và tìm văn bản hợp nhất cho người không làm nghề có hướng dẫn riêng ở AI Tra Cứu; với người làm nghề, nguyên tắc vẫn là nguồn chính thức trước, AI sau.
Khi công cụ AI có tìm kiếm trên mạng
Nhiều công cụ hiện có chức năng tìm kiếm và dẫn nguồn trên mạng. Điều này giảm bịa nhưng không loại bỏ: nguồn có thể là trang tổng hợp không chính thức, phiên bản cũ, hoặc AI tóm tắt sai nội dung trang. Khi dùng, bổ sung vào câu lệnh:
- "Chỉ dùng nguồn là cơ quan nhà nước ban hành hoặc cơ sở dữ liệu văn bản pháp luật chính thức; ghi rõ tên nguồn cho từng thông tin."
- "Với mỗi văn bản được nêu, ghi số hiệu, cơ quan ban hành, ngày ban hành, và tình trạng hiệu lực theo nguồn; nếu nguồn không nêu tình trạng hiệu lực, ghi 'chưa xác định hiệu lực'."
- "Không tóm tắt lại điều luật; trích nguyên văn đoạn liên quan từ nguồn."
- "Nếu các nguồn mâu thuẫn nhau, liệt kê cả hai và không chọn."
- Sau đó mở từng nguồn được dẫn, đọc đoạn gốc, không chỉ tin vào việc có dẫn nguồn. Kiểm phiên bản hiện hành của công cụ để biết nó tìm kiếm thế nào.
Một đường dẫn nguồn đi kèm không chứng minh nội dung được trích là đúng. Đã có không ít trường hợp AI dẫn đúng một trang nhưng tóm tắt nội dung không có trên trang đó.
Dấu hiệu nhận biết trích dẫn có thể bị bịa
Không dấu hiệu nào chứng minh chắc chắn trích dẫn sai, nhưng gặp những dấu hiệu sau thì kiểm trước khi đọc tiếp:
| Dấu hiệu | Vì sao đáng ngờ |
|---|---|
| Điều luật nói đúng chính xác điều bạn cần, với câu chữ rất gọn | Văn bản thật thường dài, có điều kiện, ngoại lệ; câu quá khớp có thể là AI viết lại theo câu hỏi |
| Số hiệu văn bản sai định dạng thông thường hoặc ghép kiểu lạ | Ký hiệu loại văn bản, năm, cơ quan ban hành không khớp nhau |
| Ngày ban hành, ngày hiệu lực không hợp lý | Ví dụ văn bản hướng dẫn ban hành trước luật mà nó hướng dẫn |
| Án lệ hoặc bản án có tình tiết quá giống vụ của bạn | AI có xu hướng "tạo" tiền lệ phù hợp với câu hỏi |
| Tên văn bản lai giữa hai văn bản thật | Ghép tên một luật với số hiệu của nghị định khác |
| Không có trích nguyên văn, chỉ có diễn giải | Không đối chiếu được; có thể là nội dung tự tạo |
Bảng này nên được dán ở chỗ làm việc của trợ lý luật sư và người tập sự; người mới thường tin vào hình thức trích dẫn hơn người có kinh nghiệm.
Khi phát hiện AI đã bịa: xử lý trong văn phòng
Dù câu lệnh chặt đến đâu, sẽ có lúc người kiểm phát hiện một số hiệu không tồn tại hay một đoạn trích không khớp nguyên văn. Cách văn phòng phản ứng lúc đó quyết định lần sau có tái diễn không. Phản ứng tệ nhất là sửa lặng lẽ con số rồi đi tiếp: không ai học được gì, và người dùng công cụ tiếp theo lại tin như cũ.
Cách tốt hơn là một sổ lỗi đơn giản, có thể chỉ là một bảng dùng chung, ghi: ngày, loại việc, công cụ và phiên bản nếu biết, câu lệnh đã dùng (đã che thông tin), kiểu lỗi (bịa số hiệu, trích sai điều, dùng văn bản hết hiệu lực, tóm tắt lệch), và cách phát hiện. Sau vài tháng, sổ lỗi cho thấy rõ loại việc nào AI hay sai nhất ở văn phòng bạn, từ đó quyết định việc nào được dùng AI, việc nào phải làm tay.
Nếu lỗi đã lọt vào văn bản gửi đi, xử lý như mọi sai sót nghề nghiệp khác: báo người phụ trách, đánh giá ảnh hưởng, đính chính với người nhận càng sớm càng tốt. Không đổ lỗi cho công cụ trong thư đính chính; với khách hàng và đối tác, văn bản là của văn phòng, không phải của phần mềm.
Quy trình kiểm từng trích dẫn
Với mọi văn bản đi ra ngoài văn phòng, mọi căn cứ pháp lý xuất hiện từ quá trình có AI tham gia phải qua các bước:
- Tìm văn bản theo số hiệu trên nguồn chính thức. Không tìm thấy thì coi như không tồn tại cho tới khi chứng minh được.
- Kiểm tình trạng hiệu lực tại thời điểm áp dụng cho vụ việc, kể cả các lần sửa đổi, bổ sung.
- Mở đúng điều, khoản được dẫn, đọc nguyên văn, so với câu AI trích. Khác một chữ cũng sửa theo bản gốc.
- Với án lệ, kiểm trong danh mục án lệ đã được công bố chính thức; với bản án, kiểm trên nguồn công bố bản án công khai.
- Ghi lại người kiểm, ngày kiểm, nguồn đã dùng ngay trong hồ sơ nghiên cứu.
Có thể thêm một lượt câu lệnh hậu kiểm, yêu cầu AI tự liệt kê mọi căn cứ pháp lý trong câu trả lời và gắn nhãn mức chắc chắn. Lượt này giúp gom danh sách cần kiểm, nhưng không thay thế bước kiểm bằng nguồn chính thức: một mô hình đã bịa thì cũng có thể tự xác nhận điều nó bịa.
Câu hỏi thường gặp
Dùng công cụ AI chuyên cho ngành luật thì có còn phải kiểm trích dẫn không?
Vẫn phải kiểm. Công cụ chuyên ngành thường có kho văn bản tốt hơn và ít bịa hơn, nhưng vẫn có thể trích sai phiên bản, sai điều, hoặc tóm tắt lệch. Trách nhiệm nghề nghiệp về căn cứ pháp lý thuộc về người ký văn bản.
AI trả lời "không có trong tài liệu" quá nhiều thì sao?
Đó thường là dấu hiệu tài liệu đưa vào chưa đủ, không phải lỗi câu lệnh. Xem danh sách khía cạnh chưa được trả lời để bổ sung văn bản. Cũng có thể câu hỏi quá rộng; chia thành nhiều câu hỏi hẹp hơn.
Có nên hỏi AI "điều luật này còn hiệu lực không"?
Không nên dựa vào câu trả lời đó. Dữ liệu của mô hình có mốc thời gian và AI không tự biết văn bản mới ban hành sau mốc đó. Tình trạng hiệu lực phải kiểm trên nguồn chính thức tại thời điểm cần dùng.
Dán cả bộ luật dài vào công cụ có được không?
Được nếu công cụ cho phép và bảo mật không phải vấn đề, vì văn bản luật là thông tin công khai. Tuy vậy, chỉ dán những chương liên quan thường cho kết quả chính xác hơn và dễ kiểm hơn.
Văn bản nước ngoài thì áp dụng cách làm này thế nào?
Nguyên tắc như nhau: tải văn bản từ nguồn chính thức của nước đó, đưa vào, trích nguyên văn bằng ngôn ngữ gốc, phần dịch để riêng. Với văn bản nước ngoài, AI càng dễ trộn quy định của các nước khác nhau, nên câu chặn giới hạn nguồn càng quan trọng.
Người tập sự có nên được dùng AI cho nghiên cứu pháp lý không?
Nên, kèm hướng dẫn: luật sư hướng dẫn kiểm các bản nghiên cứu đầu tiên, và người tập sự phải tự tra được văn bản bằng nguồn chính thức trước khi dùng AI để đọc nhanh. Biết tra trước, dùng AI sau.