Cách phát hiện văn bản được tạo bởi trí tuệ nhân tạo

Một bài kiểm tra Turing trên các bài kiểm tra Turing

TL; DR: Một công cụ mới để phát hiện các văn bản do AI tạo ra.

Trình tạo văn bản và trình phát hiện văn bản giống như trò chơi 😾mèo vờn chuột🐁.

🤖Các công cụ Trí tuệ nhân tạo và đặc biệt là các mô hình GPT đang thay thế công việc của con người .

👨‍💻Ngay cả những lập trình viên tồi cũng sẽ sớm bị thay thế.

Có một số công cụ đạo văn trí tuệ nhân tạo ngoài kia.

Giờ đây, mô hình ChatGPT phổ biến từ open.ai đã phát hành mô hình của riêng họ.

Toàn bộ bài đăng trên blog ở đây:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-write-text/

Hãy thử nó:

1. Kiểm tra giải thích ban đầu của tôi

(Tôi đã viết điều này từ kinh nghiệm của bản thân mà không cần đọc lời giải thích của ChatGPT )

Cách phát hiện văn bản AI được tạo.

Trí tuệ nhân tạo có thể tạo văn bản bằng các mô hình được đào tạo trước.

Các mô hình này dựa trên các văn bản thuộc phạm vi công cộng và có thể tạo ra kiến thức bằng cách dự đoán mối quan hệ giữa các khái niệm.

Các văn bản tổng hợp do trí tuệ nhân tạo tạo ra đưa ra sự thật mà không cần trích dẫn nguồn. Đôi khi chúng không sâu sắc lắm trong các giải thích trừ khi chúng tôi yêu cầu sàng lọc.

Một cách đơn giản để phát hiện các văn bản đã tạo là so sánh một số trình tạo đã biết và yêu cầu chúng viết văn bản mong muốn.

Một gợi ý khác là thêm một số lỗi ngữ pháp để xem liệu công cụ có hiểu tập dữ liệu của nó hay không vì chỉ con người mới mắc lỗi.

Nếu bạn đọc nhiều văn bản do trí tuệ nhân tạo tạo ra, bạn sẽ nhận thấy chúng sử dụng các mẫu ngữ pháp giống nhau.

Bạn có thể hướng dẫn người tạo nhắm mục tiêu đến các đối tượng khác, sử dụng giọng nói tích cực, v.v.

Sau đó, bạn có thể đo khoảng cách của các từ, các từ phổ biến, v.v.

Sau khi bạn so sánh nó với ngưỡng dự đoán, bạn có thể kiểm tra mức độ tin tưởng của chúng tôi đối với văn bản không phải do con người tạo ra.

Tôi một mình viết đoạn văn bản trên, và sau khi sử dụng một số công cụ hỗ trợ viết như HemingwayApp hoặc Grammarly, tôi đã đưa nó vào công cụ mới toanh tại đây .

Kết quả: Trình phân loại coi văn bản không chắc do AI tạo ra. 😺

Tôi đã vượt qua bài kiểm tra Turing. 😺🧠

Là quy mô:

"Rất ít khả năng do AI tạo ra" tương ứng với ngưỡng phân loại là <0,1. Khoảng 5% văn bản do con người viết và 2% văn bản do AI tạo từ bộ thử thách của chúng tôi có nhãn này.

"Không chắc do AI tạo ra" tương ứng với ngưỡng phân loại từ 0,1 đến 0,45. Khoảng 15% văn bản do con người viết và 10% văn bản do AI tạo từ bộ thử thách của chúng tôi có nhãn này.

"Không rõ có phải do AI viết không" tương ứng với ngưỡng phân loại trong khoảng từ 0,45 đến 0,9. Khoảng 50% văn bản do con người viết và 34% văn bản do AI tạo từ bộ thử thách của chúng tôi có nhãn này.

"Có thể do AI tạo" tương ứng với ngưỡng phân loại từ 0,9 đến 0,98. Khoảng 21% văn bản do con người viết và 28% văn bản do AI tạo từ bộ thử thách của chúng tôi có nhãn này.

"Có khả năng do AI tạo ra" tương ứng với ngưỡng phân loại >0,98. Khoảng 9% văn bản do con người viết và 26% văn bản do AI tạo ra từ bộ thử thách của chúng tôi có nhãn này.

2. Kiểm tra giải thích của ChatGPT

ME: Giải thích cách phát hiện văn bản AI được tạo

ChatGPT: Việc phát hiện văn bản do AI tạo ra có thể là một thách thức, nhưng có một số phương pháp có thể được sử dụng:

Nhận dạng mẫu: Văn bản do AI tạo thường thể hiện các mẫu trong cấu trúc câu, cách sử dụng ngôn ngữ và lựa chọn từ có thể khác biệt so với văn bản do con người viết.

Phân tích thống kê: Văn bản do AI tạo ra có thể được phân tích cho một số tính năng thống kê nhất định như tần suất ký tự và từ cũng như phân phối n-gram khác với văn bản do con người viết.

Đánh giá của con người: Trong một số trường hợp, các chuyên gia con người có thể xem xét văn bản và xác định xem nó do con người viết hay do AI tạo ra dựa trên kinh nghiệm và chuyên môn của họ.

Sử dụng các mô hình AI: Các mô hình AI có thể được đào tạo để xác định văn bản do AI tạo bằng cách sử dụng bộ dữ liệu được gắn nhãn gồm văn bản do con người viết và do AI tạo. Sau đó, mô hình này có thể được sử dụng để xác định văn bản do AI tạo trong văn bản mới, chưa nhìn thấy.

Điều đáng chú ý là công nghệ AI tiếp tục phát triển và các phương pháp tạo văn bản mới đang được phát triển, vì vậy những phương pháp này có thể không phải lúc nào cũng hiệu quả.

Lời giải thích tốt đẹp. Hãy sử dụng lại công cụ.

Kết quả: Trình phân loại coi văn bản có thể do AI tạo ra.😂

Mô hình có độ chính xác > 0,9 do Trí tuệ nhân tạo tạo ra.

Điều đó đã được mong đợi.

3. Kiểm tra lời giải thích của Wikipedia

Hãy cắt và dán bài viết này .

“Tạo ngôn ngữ tự nhiên (NLG) là một quy trình phần mềm tạo ra đầu ra ngôn ngữ tự nhiên. Một cuộc khảo sát được trích dẫn rộng rãi về các phương pháp NLG mô tả NLG là "lĩnh vực con của trí tuệ nhân tạo và ngôn ngữ học tính toán liên quan đến việc xây dựng các hệ thống máy tính để có thể tạo ra các văn bản dễ hiểu bằng tiếng Anh hoặc các ngôn ngữ khác của con người từ một số biểu diễn thông tin phi ngôn ngữ cơ bản" .

Mặc dù mọi người đều đồng ý rằng đầu ra của bất kỳ quy trình NLG nào là văn bản, vẫn có một số bất đồng về việc liệu đầu vào của một hệ thống NLG có cần phải phi ngôn ngữ hay không. Các ứng dụng phổ biến của phương pháp NLG bao gồm tạo các báo cáo khác nhau, ví dụ như báo cáo về thời tiết và bệnh nhân; chú thích hình ảnh; và chatbot.

NLG tự động có thể được so sánh với quy trình mà con người sử dụng khi họ chuyển ý tưởng thành văn bản hoặc lời nói. Các nhà tâm lý học thích thuật ngữ sản xuất ngôn ngữ hơn cho quá trình này, quá trình này cũng có thể được mô tả bằng thuật ngữ toán học hoặc được mô hình hóa trong máy tính để nghiên cứu tâm lý.

Các hệ thống NLG cũng có thể được so sánh với các trình dịch ngôn ngữ máy tính nhân tạo, chẳng hạn như trình dịch ngược hoặc trình biên dịch, cũng tạo ra mã mà con người có thể đọc được được tạo từ một biểu diễn trung gian.

Ngôn ngữ của con người có xu hướng phức tạp hơn đáng kể và cho phép diễn đạt mơ hồ và đa dạng hơn nhiều so với ngôn ngữ lập trình, điều này khiến NLG trở nên khó khăn hơn.”

Kết quả: Bộ phân loại coi văn bản không rõ ràng có phải do AI tạo ra hay không. 📚

Độ tin cậy nằm trong khoảng từ 0,45 đến 0,9.

Nhìn vàolịch sử của trang , chúng tôi thấy một số người và không nhiều bot.

Kết luận của tôi là ChatGPT đã được cung cấp một phần văn bản, do đó, nó đang đo lường quá mức .

4. Kiểm tra ChatGPT bằng Human Edit

Tôi đã lấy văn bản do ChatGPT tạo ra và tự chỉnh sửa nó bằng các công cụ chỉnh sửa của mình.

Việc phát hiện văn bản do AI tạo ra có thể là một thách thức, nhưng bạn có thể sử dụng một số phương pháp.

Bạn cũng có thể sử dụng các mô hình AI bằng cách đào tạo để xác định văn bản do AI tạo bằng cách sử dụng bộ dữ liệu được gắn nhãn gồm văn bản do con người viết và do AI tạo.

Bạn có thể sử dụng tính năng nhận dạng mẫu vì văn bản do AI tạo thường thể hiện các mẫu trong cấu trúc câu, cách sử dụng ngôn ngữ và lựa chọn từ có thể khác biệt so với văn bản do con người viết.

Ngoài ra, còn có sự đánh giá của con người, trong một số trường hợp, các chuyên gia con người có thể xem xét văn bản và xác định xem nó có phải do con người viết hay không dựa trên kinh nghiệm và chuyên môn của họ.

Bạn cũng có thể sử dụng một công cụ gọi là phân tích thống kê để kiểm tra văn bản do AI tạo để tìm các tính năng thống kê nhất định như tần suất ký tự và từ cũng như phân phối n-gram khác với văn bản do con người viết.

Bạn có thể xác định văn bản do AI tạo trong văn bản mới và chưa thấy bằng cách sử dụng mô hình.

Cuối cùng, công nghệ AI đang phát triển nhanh chóng và có những phương pháp mới để tạo văn bản không phải lúc nào cũng hiệu quả.

Kết quả: Trình phân loại coi văn bản có thể do AI tạo ra. 👿

Tôi đã không thể đánh lừa hệ thống.

5. Kiểm tra các bài viết trước của tôi

Tôi đã sử dụng công cụ để kiểm tra nhiều bài viết của mình:

ChatGPT: Người thầy đáng kinh ngạc của một Lập trình viên có thâm niên hơn 25 năm

Kết quả: Trình phân loại coi văn bản không chắc do AI tạo ra. 😃

Giải thích theo 5 mức độ khó: ChatGPT

Kết quả: Bộ phân loại coi văn bản không rõ ràng có phải do AI tạo ra hay không.

Nó là chính xác. Tôi đã "nói chuyện" với ChatGPT để lấy một số ý tưởng. 😳

Tại sao GitHub Copilot không phải là mối đe dọa đối với công việc của bạn

Kết quả: Bộ phân loại cho rằng văn bản rất khó có khả năng do AI tạo ra. 😃

☝️ Bạn có thể thử các bài viết của riêng mình!

Suy nghĩ cuối cùng

Đây là một công cụ tuyệt vời khác của Open.ai.

Trang chính thức có một số chi tiết rất thú vị về tính chính xác, tính xác định và đánh giá.