Các quy tắc mới của YouTube đang nhắm đến một xu hướng đáng lo ngại khi xuất hiện các nội dung trực tuyến về tội phạm bạo lực, trong đó trí tuệ nhân tạo (AI) được sử dụng để tạo ra các tình tiết bạo lực thực tế, mô tả cụ thể các hành vi lạm dụng hoặc bạo lực mà nạn nhân phải chịu đựng, trong đó có cả đối tượng trẻ em.

Một số video sử dụng giọng nói của trẻ em để mô tả hành vi bạo lực đã từng xảy ra trong các vụ án nổi tiếng. Gia đình của các nạn nhân được miêu tả trong video kịch liệt phản đối các nội dung này, tuyên bố chúng thực sự ‘ghê tởm’.

Các quy định mới của YouTube sẽ cho phép ngăn chặn những nội dung độc hại xuất hiện trên các kênh công khai và hạn chế trải nghiệm của người dùng trên nền tảng của mình. Các biện pháp xử lý sẽ tăng dần tùy thuộc vào mức độ tái phạm của chủ nhân các kênh sản xuất video.

Nếu vi phạm chính sách lần đầu tiên, YouTube sẽ giới hạn người dùng tải video lên trong một tuần. Nếu hành vi vi phạm tái diễn trong vòng 90 ngày, hình phạt sẽ tăng lên và kênh có thể bị xóa hoàn toàn.

Các nền tảng xã hội, bao gồm YouTube, đã giới thiệu các công cụ tạo nội dung được hỗ trợ bởi AI trong những tháng gần đây và kèm theo đó là các quy tắc mới để tránh nguy cơ nội dung được tạo có thể gây nhầm lẫn cho người dùng.

TikTok hiện yêu cầu người sáng tạo gắn thẻ nội dung AI tương ứng. Trong khi YouTube đã công bố các quy tắc nghiêm ngặt đối với việc sao chép giọng nói của các nhạc sĩ do AI tạo ra và một bộ quy tắc tổng quát cho các vấn đề khác.