Bài viết này đi sâu vào hoạt động bên trong của chatbot AI cực kì phổ biến hiện nay – ChatGPT. Nếu bạn muốn “ma thuật” gì đang xảy ra bên trong AI ChatGPT hãy đọc tiếp.
Google, Wolfram Alpha và ChatGPT đều tương tác với người dùng thông qua trường nhập văn bản một dòng và cung cấp kết quả văn bản. Google trả về kết quả tìm kiếm, một danh sách các trang web và bài viết (hy vọng) sẽ cung cấp thông tin liên quan đến các truy vấn tìm kiếm. Wolfram Alpha thường cung cấp các câu trả lời liên quan đến phân tích dữ liệu và toán học.
Ngược lại, ChatGPT cung cấp phản hồi dựa trên ngữ cảnh và ý định đằng sau câu hỏi của người dùng. Ví dụ: bạn không thể yêu cầu Google viết một câu chuyện hoặc yêu cầu Wolfram Alpha viết một mô-đun mã, nhưng ChatGPT có thể làm những việc này.
Về cơ bản, sức mạnh của Google là khả năng thực hiện tra cứu cơ sở dữ liệu khổng lồ và cung cấp một loạt kết quả phù hợp. Sức mạnh của Wolfram Alpha là khả năng phân tích các câu hỏi liên quan đến dữ liệu và thực hiện các tính toán dựa trên các câu hỏi đó. Sức mạnh của ChatGPT là khả năng phân tích cú pháp các truy vấn và tạo ra các câu trả lời cũng như kết quả hoàn chỉnh dựa trên hầu hết thông tin dựa trên văn bản có thể truy cập kỹ thuật số trên thế giới, ít nhất là thông tin tồn tại kể từ thời điểm đào tạo trước năm 2021.
Dưới đây chúng ta sẽ xem xét cách ChatGPT có thể đưa ra những câu trả lời đầy đủ. Chúng ta sẽ bắt đầu bằng cách xem xét các giai đoạn chính của hoạt động ChatGPT, sau đó đề cập đến một số thành phần kiến trúc AI cốt lõi giúp tất cả hoạt động.
TÓM TẮT NỘI DUNG
Hai giai đoạn chính của hoạt động ChatGPT
Có hai giai đoạn chính: giai đoạn thu thập dữ liệu và giai đoạn tương tác/tra cứu người dùng.
Giai đoạn thu thập dữ liệu được gọi là đào tạo trước, trong khi giai đoạn phản hồi của người dùng được gọi là suy luận. Điều kỳ diệu đằng sau trí tuệ nhân tạo AI và lý do khiến nó đột nhiên bùng nổ là do cách thức hoạt động của quá trình đào tạo trước đột nhiên được chứng minh là có khả năng mở rộng rất lớn.
Đào tạo trước AI
AI đào tạo trước bằng cách sử dụng hai cách tiếp cận nguyên tắc: được giám sát và không được giám sát. Đối với hầu hết các dự án AI cho đến khi xuất hiện các hệ thống AI tổng quát như ChatGPT, phương pháp được giám sát đã được sử dụng.
Đào tạo trước có giám sát là một quy trình trong đó một mô hình được đào tạo trên tập dữ liệu được gắn nhãn, trong đó mỗi đầu vào được liên kết với một đầu ra tương ứng.
Ví dụ: AI có thể được đào tạo trên tập dữ liệu về các cuộc hội thoại dịch vụ khách hàng, trong đó các câu hỏi và khiếu nại của người dùng được gắn nhãn với các phản hồi thích hợp từ đại diện dịch vụ khách hàng. Để đào tạo AI, các câu hỏi như “Làm cách nào tôi có thể đặt lại mật khẩu của mình?” sẽ được cung cấp dưới dạng đầu vào của người dùng và các câu trả lời như “Bạn có thể đặt lại mật khẩu của mình bằng cách truy cập trang cài đặt tài khoản trên trang web của chúng tôi và làm theo lời nhắc.” sẽ được cung cấp như đầu ra.
ChatGPT có rất ít giới hạn về kiến thức chuyên môn. Bạn có thể yêu cầu nó viết sơ yếu lý lịch cho 1 nhân vật nổi tiếng nào đó, yêu cầu nó giải thích vật lý lượng tử, viết một đoạn mã , viết một đoạn tiểu thuyết ngắn,….
Sẽ không thể lường trước được tất cả các câu hỏi sẽ được hỏi, vì vậy thực sự không có cách nào mà ChatGPT có thể được đào tạo với một mô hình được giám sát. Thay vào đó, ChatGPT sử dụng đào tạo trước không giám sát.
Đào tạo trước không giám sát là quá trình mà một mô hình được đào tạo trên dữ liệu mà không có đầu ra cụ thể nào được liên kết với mỗi đầu vào. Trong bối cảnh mô hình hóa ngôn ngữ, đào tạo trước không giám sát có thể được sử dụng để đào tạo một mô hình hiểu cú pháp và ngữ nghĩa của ngôn ngữ tự nhiên, để nó có thể tạo ra văn bản mạch lạc và có ý nghĩa trong ngữ cảnh đàm thoại.
Đây là nơi mà kiến thức dường như vô hạn của ChatGPT trở nên khả thi. Bởi vì các nhà phát triển không cần biết đầu ra từ đầu vào, tất cả những gì họ phải làm là đưa ngày càng nhiều thông tin vào cơ chế đào tạo trước ChatGPT, được gọi là mô hình hóa ngôn ngữ.
Bộ dữ liệu được đào tạo
Bộ dữ liệu được sử dụng để đào tạo ChatGPT là rất lớn. ChatGPT dựa trên kiến trúc GPT-3 (Generative Pre-training Transformer 3). Nó có tính tổng quát, nghĩa là nó tạo ra kết quả, nó được đào tạo trước, nghĩa là nó dựa trên tất cả dữ liệu mà nó nhập vào và nó sử dụng mô hình biến đổi (Transformer architecture) cân nhắc đầu vào văn bản để hiểu ngữ cảnh.
GPT-3 đã được đào tạo trên tập dữ liệu có tên là WebText2 , một thư viện chứa hơn 45 terabyte dữ liệu văn bản. Lượng dữ liệu khổng lồ này cho phép ChatGPT tìm hiểu các mẫu và mối quan hệ giữa các từ và cụm từ trong ngôn ngữ tự nhiên ở quy mô chưa từng có, đó là một trong những lý do tại sao ChatGPT lại hiệu quả đến vậy trong việc tạo ra các câu trả lời mạch lạc và phù hợp theo ngữ cảnh cho các truy vấn của người dùng.
Mặc dù ChatGPT dựa trên kiến trúc GPT-3, nhưng ChatGPT đã được tinh chỉnh trên một tập dữ liệu khác và được tối ưu hóa cho các trường hợp sử dụng đàm thoại. Điều này cho phép nó cung cấp trải nghiệm cá nhân hóa và hấp dẫn hơn cho những người dùng tương tác với nó thông qua giao diện trò chuyện.
Ví dụ: OpenAI (nhà phát triển ChatGPT) đã phát hành bộ dữ liệu có tên Persona-Chat được thiết kế đặc biệt để đào tạo các mô hình AI đàm thoại như ChatGPT. Bộ dữ liệu này bao gồm hơn 160.000 cuộc đối thoại giữa hai người tham gia là con người, với mỗi người tham gia được chỉ định một nhân vật duy nhất mô tả lý lịch, sở thích và tính cách của họ. Điều này cho phép ChatGPT tìm hiểu cách tạo phản hồi được cá nhân hóa và phù hợp với ngữ cảnh cụ thể của cuộc trò chuyện.
Ngoài các bộ dữ liệu này, ChatGPT đã được đào tạo về một lượng lớn dữ liệu phi cấu trúc được tìm thấy trên internet, bao gồm các trang web, sách và các nguồn văn bản khác. Điều này cho phép ChatGPT tìm hiểu về cấu trúc và mẫu ngôn ngữ theo nghĩa tổng quát hơn, sau đó có thể tinh chỉnh cho các ứng dụng cụ thể như quản lý đối thoại hoặc phân tích cảm tính.
Xử lý ngôn ngữ tự nhiên
Xử lý ngôn ngữ tự nhiên (NLP) tập trung vào việc cho phép máy tính hiểu, diễn giải và tạo ra ngôn ngữ của con người. Với sự tăng trưởng theo cấp số nhân của dữ liệu kỹ thuật số và việc sử dụng ngày càng nhiều các giao diện ngôn ngữ tự nhiên, NLP đã trở thành một công nghệ quan trọng đối với nhiều doanh nghiệp.
Các công nghệ NLP có thể được sử dụng cho nhiều ứng dụng, bao gồm phân tích tình cảm , chatbot, nhận dạng giọng nói và dịch thuật. Bằng cách tận dụng NLP, doanh nghiệp có thể tự động hóa các tác vụ, cải thiện dịch vụ khách hàng và thu được thông tin chi tiết có giá trị từ phản hồi của khách hàng và các bài đăng trên mạng xã hội.
Một trong những thách thức chính trong việc triển khai NLP là đối phó với sự phức tạp và mơ hồ của ngôn ngữ con người . Các thuật toán NLP cần được đào tạo trên một lượng lớn dữ liệu để nhận dạng các mẫu và tìm hiểu các sắc thái của ngôn ngữ. Chúng cũng cần được liên tục tinh chỉnh và cập nhật để theo kịp những thay đổi trong việc sử dụng ngôn ngữ và ngữ cảnh.
Công nghệ này hoạt động bằng cách chia nhỏ đầu vào ngôn ngữ, chẳng hạn như câu hoặc đoạn văn, thành các thành phần nhỏ hơn và phân tích ý nghĩa cũng như mối quan hệ của chúng để tạo ra thông tin chuyên sâu hoặc phản hồi. Các công nghệ NLP sử dụng kết hợp các kỹ thuật, bao gồm mô hình thống kê, học máy và học sâu , để nhận dạng các mẫu và học từ lượng lớn dữ liệu nhằm diễn giải và tạo ngôn ngữ chính xác.
Quản lý đối thoại
Bạn có thể nhận thấy rằng ChatGPT có thể đặt các câu hỏi tiếp theo để làm rõ ý định của bạn hoặc hiểu rõ hơn nhu cầu của bạn và cung cấp các câu trả lời được cá nhân hóa có tính đến toàn bộ lịch sử cuộc trò chuyện.
Đây là cách ChatGPT có thể trò chuyện nhiều lượt với người dùng theo cách tự nhiên và hấp dẫn. Nó liên quan đến việc sử dụng các thuật toán và kỹ thuật máy học để hiểu ngữ cảnh của một cuộc trò chuyện và duy trì nó qua nhiều lần trao đổi với người dùng.
Có lẽ bây giờ bạn đã hiểu thêm một chút về lý do tại sao công nghệ này lại bùng nổ trong vài tháng qua. Chìa khóa của tất cả là bản thân dữ liệu không được “giám sát” và AI có thể lấy những gì nó được cung cấp và hiểu ý nghĩa của nó.
