Copilot Vision: Trợ lý AI 'nhìn' màn hình trên Windows 11

Khi AI có thể "nhìn" và "hiểu" màn hình của bạn

Copilot Vision là một tính năng mới được Microsoft tích hợp vào trợ lý AI Copilot trên Windows 11 và Windows 10, cho phép người dùng chia sẻ màn hình ứng dụng hoặc toàn bộ máy tính với chatbot. Điểm cốt lõi của công nghệ này là khả năng AI không chỉ "nhìn" thấy nội dung hiển thị mà còn "hiểu" được ngữ cảnh, từ đó đưa ra các phản hồi, hướng dẫn hoặc giải đáp thắc mắc một cách chính xác.

Khi người dùng kích hoạt tính năng, Copilot có thể phân tích bất kỳ cửa sổ ứng dụng hoặc trang web nào đang mở. Dựa trên dữ liệu hình ảnh thu được, AI có thể hỗ trợ thực hiện các tác vụ cụ thể, giải thích một chức năng phức tạp trong phần mềm, hoặc cung cấp thông tin chi tiết về nội dung bạn đang xem. Ban đầu, tính năng này chỉ giới hạn trong chương trình Windows Insider, nhưng hiện đã được triển khai rộng rãi hơn.

Cách thức hoạt động trên các nền tảng

Copilot Vision hoạt động như một tính năng tùy chọn, đòi hỏi người dùng phải chủ động kích hoạt trong mỗi phiên làm việc. Điều này đảm bảo người dùng luôn kiểm soát được thời điểm và nội dung chia sẻ với AI.

Trên ứng dụng Copilot của Windows

Để sử dụng, người dùng cần mở ứng dụng Copilot và nhấn vào biểu tượng chia sẻ màn hình. Sau đó, một cửa sổ sẽ hiện ra cho phép chọn ứng dụng, cửa sổ cụ thể hoặc toàn bộ màn hình để chia sẻ. Khi kết nối được thiết lập, bạn có thể đặt câu hỏi hoặc ra lệnh cho Copilot. Quá trình chia sẻ có thể được dừng lại bất cứ lúc nào thông qua một nút điều khiển.

Ví dụ, bạn có thể chia sẻ màn hình một phần mềm chỉnh sửa ảnh và hỏi "Làm thế nào để sử dụng công cụ X?" và Copilot sẽ cung cấp hướng dẫn dựa trên giao diện mà nó "nhìn" thấy.

Tích hợp trong trình duyệt Microsoft Edge

Trên Microsoft Edge, tính năng Vision được tích hợp sẵn và có thể kích hoạt khi sử dụng Copilot từ thanh bên. Người dùng có thể bắt đầu một cuộc hội thoại bằng giọng nói, và Vision sẽ tự động được bật để phân tích nội dung trang web đang xem. Điều này đặc biệt hữu ích khi cần tóm tắt thông tin, giải thích biểu đồ hoặc tìm kiếm các yếu-tố-liên-quan trên một trang web phức tạp.

Vấn đề bảo mật và quyền riêng tư

Microsoft nhấn mạnh rằng Copilot Vision được thiết kế với sự ưu tiên về quyền riêng tư. Công ty khẳng định hình ảnh màn hình, âm thanh giọng nói và ngữ cảnh của người dùng sẽ không được ghi lại hoặc lưu trữ. Tuy nhiên, các cuộc hội thoại bằng giọng nói sẽ được chuyển thành văn bản và lưu lại trong lịch sử trò chuyện, nhưng người dùng có thể xóa lịch sử này bất cứ lúc nào.

Tính năng này cũng sẽ tự động tắt sau một khoảng thời gian không hoạt động. Ngoài ra, Copilot Vision không thể phân tích các nội dung được bảo vệ bằng công nghệ quản lý bản quyền kỹ thuật số (DRM), đảm bảo tôn trọng các quy định về bản quyền.

Tiềm năng và giới hạn hiện tại

Copilot Vision mở ra nhiều khả năng mới trong việc hỗ trợ người dùng, từ việc học cách sử dụng phần mềm mới đến giải quyết các sự cố kỹ thuật. Nó biến trợ lý AI từ một công cụ trả lời dựa trên văn bản thành một người bạn đồng hành có khả năng tương tác trực quan.

Hiện tại, tính năng này chủ yếu khả dụng cho người dùng tại Hoa Kỳ với phiên bản ứng dụng Copilot 1.25061.104.0 trở lên và dự kiến sẽ mở rộng sang các thị trường khác trong tương lai. Trên nền tảng di động (iOS và Android), Copilot Vision yêu cầu người dùng phải đăng ký gói Copilot Pro trả phí.