Ở mức cao nhất, Bard là một mạng nơ-ron sâu phân tích và hiểu các mẫu trong một tập dữ liệu lớn văn bản.

Sau đó, Bard tạo ra văn bản mới, độc đáo dựa trên phân tích trước đó. Cụ thể, Bard dựa trên kiến trúc mạng nơ-ron gọi là transformers. Kiến trúc này của mạng nơ-ron là tương đối mới và được giới thiệu trong bài báo nghiên cứu năm 2017 “Attention Is All You Need”. Transformers đặc biệt phù hợp với các tác vụ xử lý ngôn ngữ tự nhiên (NLP).

Transformers bao gồm một chuỗi các lớp xử lý phân cấp văn bản đầu vào. Mỗi lớp xây dựng trên lớp trước để trích xuất thông tin ngày càng phức tạp về cấu trúc và cú pháp của văn bản.

Bard trước tiên nhận được một prompt (hoặc đoạn văn bản gốc) làm đầu vào để tạo ra văn bản. Các lớp ban đầu của transformer xử lý đoạn văn bản đầu vào và trích xuất thông tin về cú pháp và cấu trúc của văn bản.

Sau đó, transformer sử dụng thông tin này để tạo ra một phân phối xác suất về các từ hoặc cụm từ có thể theo sau đoạn văn bản đầu vào. Để tạo ra một phản hồi, Bard chọn các từ hoặc cụm từ có khả năng cao nhất từ phân phối này.

Phân phối này đã được xác định trước khi cuộc trò chuyện bắt đầu trong quá trình đào tạo Bard.

Bard đã được đào tạo trên một lượng lớn dữ liệu văn bản từ nhiều nguồn khác nhau như sách, trang web và các tài liệu văn bản khác. Quá trình đào tạo của Bard bao gồm một kỹ thuật gọi là học không giám sát.

Khi sử dụng các kỹ thuật học không giám sát, chúng ta cung cấp một lượng lớn dữ liệu văn bản vào một mô hình mà không cung cấp nhãn hoặc mục tiêu rõ ràng.

Khi mô hình transformer nhận được văn bản này, nó học các mẫu thống kê và mối quan hệ giữa các từ và cụm từ trong văn bản.