Bộ phận tập trung vào cả nghiên cứu cơ bản và nghiên cứu ứng dụng, Google Research đã giới thiệu SensorLM, một gia đình mới của các mô hình ngôn ngữ cảm biến được thiết kế để nâng cao việc diễn giải dữ liệu cảm biến đeo được có chiều cao. Được đào tạo trên 59,7 triệu giờ đầu vào cảm biến đa phương tiện từ hơn 103.000 cá nhân, SensorLM có khả năng tạo ra các mô tả chi tiết, dễ đọc cho con người từ các tín hiệu cảm biến phức tạp, thiết lập một tiêu chuẩn mới trong lĩnh vực phân tích dữ liệu cảm biến.
Để phát triển tập dữ liệu huấn luyện cho SensorLM, khoảng 2,5 triệu ngày người từ dữ liệu cảm biến đã được không xác định danh tính được lấy mẫu từ 103.643 người tham gia trên 127 quốc gia. Dữ liệu này được thu thập từ các thiết bị Fitbit và Pixel Watch trong khoảng thời gian từ ngày 1 tháng 3 đến ngày 1 tháng 5 năm 2024, với tất cả người tham gia đều cung cấp sự đồng ý thông báo cho việc sử dụng dữ liệu ẩn danh của họ trong nghiên cứu nhằm nâng cao kiến thức chung về sức khỏe và khoa học.
Các nhà nghiên cứu đã triển khai một quy trình tự động theo cấp bậc tạo ra các chú thích mô tả bằng cách tính toán thống kê, nhận diện các mẫu và tóm tắt sự kiện trực tiếp từ dữ liệu cảm biến để giải quyết thách thức gán nhãn dữ liệu quy mô lớn. Cách tiếp cận này đã cho phép tạo ra những gì hiện nay là tập dữ liệu lớn nhất được biết đến liên kết đầu vào cảm biến với ngôn ngữ, vượt qua quy mô của các tập dữ liệu được sử dụng trong các nghiên cứu trước đó.
Kiến trúc của SensorLM tích hợp và hài hòa các phương pháp tiền huấn luyện đa phương thức được sử dụng rộng rãi, đặc biệt là học đối kháng và tiền huấn luyện sinh sinh, vào một khung thống nhất. Trong giai đoạn học đối kháng, mô hình được huấn luyện để liên kết các đoạn dữ liệu cảm biến với các mô tả văn bản phù hợp được chọn từ một nhóm các lựa chọn.
Quá trình này cho phép mô hình phân biệt chính xác giữa các hoạt động thể chất khác nhau hoặc các trạng thái sinh lý, chẳng hạn như phân biệt giữa một buổi bơi nhẹ và một buổi tập trung vào sức mạnh. Trong giai đoạn tiền huấn luyện sinh sinh, mô hình học cách tạo ra các mô tả văn bản trực tiếp từ các đầu vào cảm biến, nâng cao khả năng truyền đạt các diễn giải phức tạp, nhạy cảm với ngữ cảnh của dữ liệu có độ chiều cao. Việc tích hợp các chiến lược huấn luyện này cho phép SensorLM hình thành một sự hiểu biết đa phương thức toàn diện và tinh tế về cách mà dữ liệu cảm biến tương ứng với ngôn ngữ tự nhiên.
Các thí nghiệm cho thấy khả năng tiên tiến của SensorLM trong phân loại không cần huấn luyện, học ít mẫu, và hiểu biết đa phương thức.
Theo nghiên cứu của Google, hiệu suất của SensorLM đã được đánh giá qua nhiều kịch bản thực tế khác nhau liên quan đến nhận diện hoạt động của con người và ứng dụng trong y tế, cho thấy những cải tiến rõ rệt so với các mô hình hàng đầu hiện có trong các lĩnh vực này. SensorLM hoạt động đặc biệt tốt trong các môi trường có dữ liệu gán nhãn hạn chế. Nó đã thể hiện khả năng phân loại zero-shot mạnh mẽ, xác định chính xác 20 hoạt động khác nhau mà không cần tinh chỉnh mô hình, và cho thấy khả năng học few-shot hiệu quả, thích ứng nhanh chóng với các nhiệm vụ mới với ít ví dụ. Chức năng truy xuất đa phương thức của nó cũng cho phép khả năng giải thích lẫn nhau giữa dữ liệu cảm biến và ngôn ngữ tự nhiên, cho phép người dùng tìm kiếm các mẫu cảm biến bằng văn bản hoặc tạo ra các mô tả liên quan từ đầu vào cảm biến—một cách tiếp cận hỗ trợ quy trình phân tích của các chuyên gia.
Ngoài việc phân loại, SensorLM còn có khả năng tạo ra các tóm tắt văn bản có cấu trúc và nhạy cảm với ngữ cảnh chỉ dựa trên các đầu vào từ cảm biến đeo được. Các so sánh thực nghiệm cho thấy rằng những đầu ra này thường mạch lạc và chính xác hơn so với những đầu ra được tạo ra bởi các mô hình ngôn ngữ không chuyên biệt. Nghiên cứu cũng quan sát thấy rằng hiệu suất của SensorLM tăng lên một cách nhất quán với sự gia tăng về dữ liệu huấn luyện, kích thước mô hình và tài nguyên tính toán, phù hợp với các nguyên tắc đã được thiết lập trước đó trong việc mở rộng mô hình. Những phát hiện này cho thấy phương pháp này vẫn đang ở giai đoạn đầu của tiềm năng và cần được khám phá thêm.
Sự phát triển của SensorLM giới thiệu một khuôn khổ để diễn giải dữ liệu cảm biến đeo phức tạp thông qua ngôn ngữ tự nhiên. Điều này trở nên khả thi nhờ vào một phương pháp chú thích phân cấp mới được phát triển và điều mà được cho là bộ dữ liệu cảm biến-ngôn ngữ lớn nhất được tập hợp cho đến nay. Do đó, gia đình mô hình SensorLM cung cấp một bước tiến trong việc nâng cao khả năng tiếp cận và tiện ích của dữ liệu sức khỏe cá nhân. Bằng cách cho phép máy móc diễn giải các tín hiệu sinh lý thông qua ngôn ngữ, công việc này đặt nền tảng cho phản hồi sức khỏe được tùy chỉnh và thông tin hơn. Các nỗ lực trong tương lai sẽ khám phá việc mở rộng vào các lĩnh vực như phân tích chuyển hóa và giám sát giấc ngủ nâng cao, với mục tiêu rộng hơn là hỗ trợ các công cụ wellness cá nhân hóa, hệ thống giám sát lâm sàng và các trợ lý sức khỏe kỹ thuật số có khả năng tương tác bằng ngôn ngữ tự nhiên. Việc phát triển và triển khai bất kỳ sản phẩm tương lai nào dựa trên nghiên cứu này có thể phải chịu sự xác nhận lâm sàng và giám sát quy định.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Google giới thiệu SensorLM chuyển đổi tín hiệu cảm biến thành thông tin sức khỏe tập trung vào con người
Bộ phận tập trung vào cả nghiên cứu cơ bản và nghiên cứu ứng dụng, Google Research đã giới thiệu SensorLM, một gia đình mới của các mô hình ngôn ngữ cảm biến được thiết kế để nâng cao việc diễn giải dữ liệu cảm biến đeo được có chiều cao. Được đào tạo trên 59,7 triệu giờ đầu vào cảm biến đa phương tiện từ hơn 103.000 cá nhân, SensorLM có khả năng tạo ra các mô tả chi tiết, dễ đọc cho con người từ các tín hiệu cảm biến phức tạp, thiết lập một tiêu chuẩn mới trong lĩnh vực phân tích dữ liệu cảm biến.
Để phát triển tập dữ liệu huấn luyện cho SensorLM, khoảng 2,5 triệu ngày người từ dữ liệu cảm biến đã được không xác định danh tính được lấy mẫu từ 103.643 người tham gia trên 127 quốc gia. Dữ liệu này được thu thập từ các thiết bị Fitbit và Pixel Watch trong khoảng thời gian từ ngày 1 tháng 3 đến ngày 1 tháng 5 năm 2024, với tất cả người tham gia đều cung cấp sự đồng ý thông báo cho việc sử dụng dữ liệu ẩn danh của họ trong nghiên cứu nhằm nâng cao kiến thức chung về sức khỏe và khoa học.
Các nhà nghiên cứu đã triển khai một quy trình tự động theo cấp bậc tạo ra các chú thích mô tả bằng cách tính toán thống kê, nhận diện các mẫu và tóm tắt sự kiện trực tiếp từ dữ liệu cảm biến để giải quyết thách thức gán nhãn dữ liệu quy mô lớn. Cách tiếp cận này đã cho phép tạo ra những gì hiện nay là tập dữ liệu lớn nhất được biết đến liên kết đầu vào cảm biến với ngôn ngữ, vượt qua quy mô của các tập dữ liệu được sử dụng trong các nghiên cứu trước đó.
Kiến trúc của SensorLM tích hợp và hài hòa các phương pháp tiền huấn luyện đa phương thức được sử dụng rộng rãi, đặc biệt là học đối kháng và tiền huấn luyện sinh sinh, vào một khung thống nhất. Trong giai đoạn học đối kháng, mô hình được huấn luyện để liên kết các đoạn dữ liệu cảm biến với các mô tả văn bản phù hợp được chọn từ một nhóm các lựa chọn.
Quá trình này cho phép mô hình phân biệt chính xác giữa các hoạt động thể chất khác nhau hoặc các trạng thái sinh lý, chẳng hạn như phân biệt giữa một buổi bơi nhẹ và một buổi tập trung vào sức mạnh. Trong giai đoạn tiền huấn luyện sinh sinh, mô hình học cách tạo ra các mô tả văn bản trực tiếp từ các đầu vào cảm biến, nâng cao khả năng truyền đạt các diễn giải phức tạp, nhạy cảm với ngữ cảnh của dữ liệu có độ chiều cao. Việc tích hợp các chiến lược huấn luyện này cho phép SensorLM hình thành một sự hiểu biết đa phương thức toàn diện và tinh tế về cách mà dữ liệu cảm biến tương ứng với ngôn ngữ tự nhiên.
Các thí nghiệm cho thấy khả năng tiên tiến của SensorLM trong phân loại không cần huấn luyện, học ít mẫu, và hiểu biết đa phương thức.
Theo nghiên cứu của Google, hiệu suất của SensorLM đã được đánh giá qua nhiều kịch bản thực tế khác nhau liên quan đến nhận diện hoạt động của con người và ứng dụng trong y tế, cho thấy những cải tiến rõ rệt so với các mô hình hàng đầu hiện có trong các lĩnh vực này. SensorLM hoạt động đặc biệt tốt trong các môi trường có dữ liệu gán nhãn hạn chế. Nó đã thể hiện khả năng phân loại zero-shot mạnh mẽ, xác định chính xác 20 hoạt động khác nhau mà không cần tinh chỉnh mô hình, và cho thấy khả năng học few-shot hiệu quả, thích ứng nhanh chóng với các nhiệm vụ mới với ít ví dụ. Chức năng truy xuất đa phương thức của nó cũng cho phép khả năng giải thích lẫn nhau giữa dữ liệu cảm biến và ngôn ngữ tự nhiên, cho phép người dùng tìm kiếm các mẫu cảm biến bằng văn bản hoặc tạo ra các mô tả liên quan từ đầu vào cảm biến—một cách tiếp cận hỗ trợ quy trình phân tích của các chuyên gia.
Ngoài việc phân loại, SensorLM còn có khả năng tạo ra các tóm tắt văn bản có cấu trúc và nhạy cảm với ngữ cảnh chỉ dựa trên các đầu vào từ cảm biến đeo được. Các so sánh thực nghiệm cho thấy rằng những đầu ra này thường mạch lạc và chính xác hơn so với những đầu ra được tạo ra bởi các mô hình ngôn ngữ không chuyên biệt. Nghiên cứu cũng quan sát thấy rằng hiệu suất của SensorLM tăng lên một cách nhất quán với sự gia tăng về dữ liệu huấn luyện, kích thước mô hình và tài nguyên tính toán, phù hợp với các nguyên tắc đã được thiết lập trước đó trong việc mở rộng mô hình. Những phát hiện này cho thấy phương pháp này vẫn đang ở giai đoạn đầu của tiềm năng và cần được khám phá thêm.
Sự phát triển của SensorLM giới thiệu một khuôn khổ để diễn giải dữ liệu cảm biến đeo phức tạp thông qua ngôn ngữ tự nhiên. Điều này trở nên khả thi nhờ vào một phương pháp chú thích phân cấp mới được phát triển và điều mà được cho là bộ dữ liệu cảm biến-ngôn ngữ lớn nhất được tập hợp cho đến nay. Do đó, gia đình mô hình SensorLM cung cấp một bước tiến trong việc nâng cao khả năng tiếp cận và tiện ích của dữ liệu sức khỏe cá nhân. Bằng cách cho phép máy móc diễn giải các tín hiệu sinh lý thông qua ngôn ngữ, công việc này đặt nền tảng cho phản hồi sức khỏe được tùy chỉnh và thông tin hơn. Các nỗ lực trong tương lai sẽ khám phá việc mở rộng vào các lĩnh vực như phân tích chuyển hóa và giám sát giấc ngủ nâng cao, với mục tiêu rộng hơn là hỗ trợ các công cụ wellness cá nhân hóa, hệ thống giám sát lâm sàng và các trợ lý sức khỏe kỹ thuật số có khả năng tương tác bằng ngôn ngữ tự nhiên. Việc phát triển và triển khai bất kỳ sản phẩm tương lai nào dựa trên nghiên cứu này có thể phải chịu sự xác nhận lâm sàng và giám sát quy định.