EmbeddingGemma 2 چیست؟ هوش مصنوعی چندوجهی آفلاین گوگل روی گوشی

گوگل یک مدل جدید هوش مصنوعی معرفی کرده که نشان می‌دهد آینده AI فقط در Cloud خلاصه نمی‌شود.

مدل جدید EmbeddingGemma 2 برای اجرای مستقیم روی دستگاه طراحی شده و می‌تواند اطلاعات مختلف مثل:

• متن
• کد
• تصویر
• ویدیو
• صوت

را در یک فضای مشترک درک و مقایسه کند.

کاربرد جذاب این فناوری چیست؟

فرض کنید صدها عکس و ویدیو روی گوشی دارید و به‌دنبال لحظه‌ای هستید که در آن:

یک نفر در حال فوتبال بازی کردن است.

به‌جای اینکه تمام ویدیوها را دستی باز کنید، کافی است همین موضوع را با زبان طبیعی جست‌وجو کنید.

EmbeddingGemma 2 می‌تواند فایل‌های مرتبط یا حتی لحظه مناسب داخل ویدیو را پیدا کند؛ آن هم بدون اینکه لازم باشد عکس‌ها و ویدیوهای شخصی شما برای پردازش به یک سرور ابری ارسال شوند.

در این مقاله از معین گیفت بررسی می‌کنیم EmbeddingGemma 2 چیست، چگونه کار می‌کند، چه مقدار RAM نیاز دارد و چطور می‌توان همین حالا آن را با Google AI Edge Gallery روی گوشی امتحان کرد.

EmbeddingGemma 2 چیست؟

EmbeddingGemma 2 مدل جدید Multimodal Embedding شرکت Google DeepMind است.

برخلاف مدل‌هایی مثل Gemini که هدف اصلی آن‌ها تولید پاسخ، متن یا محتوا است، EmbeddingGemma 2 بیشتر برای:

• Search
• Retrieval
• Similarity Matching
• RAG
• Classification

طراحی شده است.

Embedding اصلاً چیست؟

مدل Embedding محتوا را به مجموعه‌ای از عددها تبدیل می‌کند که معنی و مفهوم آن محتوا را نمایش می‌دهند.

مثلاً عبارت:

بچه‌ای در حال بازی فوتبال

و تصویری از یک کودک در زمین فوتبال، از نظر شکل داده کاملاً متفاوت هستند.

اما EmbeddingGemma 2 می‌تواند هر دو را به Vector تبدیل کند و بفهمد که از نظر معنا به هم نزدیک هستند.

این ویژگی امکان جست‌وجوی معنایی یا:

Semantic Search

را فراهم می‌کند.

همه مدیاها داخل یک فضای مشترک

یکی از مهم‌ترین ویژگی‌های EmbeddingGemma 2 این است که Modalities مختلف را به یک فضای مشترک تبدیل می‌کند.

نسخه کامل مدل از:

• Text
• Code
• Images
• Video
• Audio

پشتیبانی می‌کند.

تمام این اطلاعات در نهایت وارد یک فضای برداری:

768-dimensional

می‌شوند.

در نتیجه می‌توان مثلاً با یک Prompt متنی، یک عکس یا لحظه داخل یک ویدیو را پیدا کرد.

مثال؛ پیدا کردن یک لحظه خاص داخل ویدیو

فرض کنید روی گوشی خود چند صد ویدیوی خانوادگی یا ورزشی دارید.

دنبال ویدیویی هستید که در آن:

dog catching a frisbee

یا:

بچه‌ها در حال خندیدن

باشند.

سیستم می‌تواند Frameها و بخش‌های مختلف ویدیو را Index کند و سپس Query شما را با آن‌ها مقایسه کند.

نتیجه می‌تواند مستقیماً شما را به Timestamp مناسب ویدیو ببرد.

همه‌چیز می‌تواند روی خود گوشی انجام شود

یکی از مهم‌ترین اهداف گوگل در این پروژه On-device AI است.

یعنی برای بسیاری از کاربردهای Search و Retrieval نیازی نیست فایل شخصی شما ابتدا به Cloud فرستاده شود.

پردازش می‌تواند مستقیماً روی:

• CPU
• GPU
• NPU

دستگاه انجام شود.

این موضوع مزایایی مثل:

• Privacy بیشتر
• Latency کمتر
• امکان استفاده آفلاین
• کاهش وابستگی به Cloud

دارد.

EmbeddingGemma 2 چند پارامتر دارد؟

مدل به‌صورت Modular طراحی شده است.

بسته به اینکه به چه قابلیت‌هایی نیاز دارید، لازم نیست همیشه تمام مدل را Load کنید.

نسخه	پارامترها	کاربرد
Text + Code	270M	متن و کد
Text + Vision	440M	متن و تصویر
Text + Audio	570M	متن و صوت
Full Multimodal	740M	متن، تصویر، ویدیو و صوت

فقط حدود ۵۶۷ مگابایت RAM برای مدل کامل

گوگل برای نشان دادن سبک بودن مدل، آن را روی Pixel 11 Pro آزمایش کرده است.

طبق نتایج منتشرشده:

• نسخه Text-only می‌تواند با حدود 191MB RAM فعال اجرا شود.
• نسخه کامل Multimodal حدود 567MB RAM فعال مصرف می‌کند.

برای مدلی که می‌تواند چند نوع Media را همزمان درک و Index کند، این Footprint بسیار کوچک محسوب می‌شود.

Instant Media Search؛ فایل‌های گوشی را با جمله پیدا کنید

گوگل همزمان با معرفی مدل، یک Demo بسیار کاربردی داخل Google AI Edge Gallery اضافه کرده است.

نام این قابلیت:

Instant Media Search

است.

این قابلیت اجازه می‌دهد عکس‌ها و ویدیوهای داخل گوشی را با زبان طبیعی Search کنید.

مثلاً:

cat sleeping on keyboard

یا:

عکس گربه‌ای که خوابیده

و سیستم تصاویر مرتبط را پیدا می‌کند.

Search as You Type

جذاب‌تر اینکه نتایج هنگام تایپ کردن Query به‌صورت زنده تغییر می‌کنند.

Embeddingها روی دستگاه محاسبه می‌شوند و سپس براساس Similarity، Mediaهای مرتبط مرتب می‌شوند.

گوگل برای ذخیره Index محلی نیز از Database روی خود دستگاه استفاده می‌کند.

جست‌وجو با خود عکس

Instant Media Search فقط Text Search نیست.

می‌توانید یک تصویر انتخاب کنید و از سیستم بخواهید تصاویر مشابه را پیدا کند.

یعنی چیزی شبیه:

Image-to-Image Search

هم روی دستگاه انجام می‌شود.

Video Moment Finder؛ پیدا کردن لحظه دقیق داخل فیلم

Demo دوم:

Video Moment Finder

است.

فرض کنید یک ویدیوی ۲۰ دقیقه‌ای دارید و می‌خواهید لحظه‌ای را پیدا کنید که:

person blowing out birthday candles

در آن اتفاق افتاده است.

مدل ویدیو را Index می‌کند و Query شما را با Embeddingهای بخش‌های مختلف ویدیو مقایسه می‌کند.

بعد می‌تواند Timestampهای مرتبط را Highlight کند.

حتی می‌توانید همان بخش را Trim کنید

Google AI Edge Gallery اجازه می‌دهد بعد از پیدا کردن لحظه مناسب:

• مستقیماً به Timestamp بروید
• بخش موردنظر را Trim کنید
• Clip را ذخیره کنید
• یا آن را Export کنید

بنابراین Demo صرفاً یک Search ساده نیست و کاربرد عملی هم دارد.

برای پیدا کردن لحظه ویدیو لازم نیست Speech-to-Text اجرا شود

یکی از جذاب‌ترین نکات معماری EmbeddingGemma 2 این است که برای بسیاری از Searchها لازم نیست ابتدا:

1. ویدیو Caption شود
2. صدا به متن تبدیل شود
3. سپس متن Search شود

مدل می‌تواند Representationهای Multimodal را مستقیماً مقایسه کند.

این موضوع Pipeline را سبک‌تر و سریع‌تر می‌کند.

EmbeddingGemma 2 فقط برای Media Search نیست

کاربرد دیگر مدل Zero-shot Classification است.

مدل می‌تواند یک Input را با مجموعه‌ای از Labelها یا توضیحات مقایسه کند و تشخیص دهد کدام گزینه به آن نزدیک‌تر است.

برای مثال یک اپلیکیشن می‌تواند Intent کاربر را تشخیص دهد:

• Search
• Open App
• Send Message
• Create Reminder

بدون اینکه برای تمام این Intentها Training اختصاصی انجام شود.

برای Search داخل کد هم مناسب است

EmbeddingGemma 2 فقط روی Media تمرکز ندارد.

نسخه Text/Code آن برای Semantic Code Search نیز طراحی شده است.

مثلاً توسعه‌دهنده می‌تواند بپرسد:

Where is authentication handled?

و به‌جای جست‌وجوی Keyword دقیق، فایل‌ها و Functionهایی که از نظر مفهوم مرتبط هستند پیدا شوند.

طبق Benchmarkهای گوگل، EmbeddingGemma 2 در MTEB Code حدود ۱۴ درصد بهتر از EmbeddingGemma 1 عمل کرده است.

Google AI Edge Gallery چیست؟

برای کسانی که Developer نیستند، ساده‌ترین روش تجربه این فناوری استفاده از:

Google AI Edge Gallery

است.

این اپلیکیشن رسمی Google AI Edge اجازه می‌دهد مدل‌های مختلف AI را مستقیم روی گوشی اجرا کنید.

نسخه جدید آن رسماً از EmbeddingGemma 2 پشتیبانی می‌کند.

AI Chat آفلاین هم دارد

Google AI Edge Gallery فقط برای Embedding نیست.

در داخل برنامه می‌توانید مدل‌های AI مختلف را دانلود و روی گوشی اجرا کنید.

قابلیت‌های فعلی شامل:

• AI Chat
• Thinking Mode
• Ask Image
• Audio Scribe
• Prompt Lab
• Mobile Actions
• Instant Media Search
• Video Moment Finder

است.

در بسیاری از این Workflowها Inference مستقیماً روی دستگاه انجام می‌شود و نیازی به اینترنت دائمی وجود ندارد.

اپ Google AI Edge Gallery در Google Play موجود است

Google AI Edge Gallery حالا به‌صورت رسمی از طریق Google Play قابل دانلود است.

نسخه فعلی Google Play بیش از یک میلیون Download ثبت کرده و به‌طور رسمی EmbeddingGemma 2 را پشتیبانی می‌کند.

دانلود Google AI Edge Gallery از Google Play →

نسخه iOS هم وجود دارد

Google AI Edge Gallery فقط مخصوص Android نیست.

گوگل نسخه iOS اپ را هم منتشر کرده و EmbeddingGemma 2 در نسخه جدید آن نیز اضافه شده است.

طبق Repository رسمی، نسخه‌های فعلی حداقل به:

• Android 12+
• iOS 17+

نیاز دارند.

توسعه‌دهندگان چطور از EmbeddingGemma 2 استفاده کنند؟

گوگل چند مسیر برای اجرای مدل ارائه کرده است.

از جمله:

• LiteRT
• MediaPipe Tasks
• sentence-transformers
• Hugging Face Transformers
• vLLM
• MLX
• Ollama
• LM Studio

نمونه استفاده با Python

طبق راهنمای رسمی Google می‌توان مدل کامل را با sentence-transformers Load کرد:

from sentence_transformers import SentenceTransformer

MODEL_ID = "google/embeddinggemma-2"

model = SentenceTransformer(MODEL_ID)

در صورت نیاز نیز می‌توان Encoderهای Vision یا Audio را Load نکرد تا مصرف حافظه پایین‌تر بماند.

LiteRT برای اجرای روی موبایل

برای اپلیکیشن‌های Edge، گوگل روی LiteRT تمرکز زیادی دارد.

LiteRT می‌تواند از Acceleratorهای مختلف مثل:

• CPU
• GPU
• NPU

استفاده کند.

هدف این است که Developer بتواند یک مدل را روی سخت‌افزارهای مختلف بدون ساخت Pipeline جداگانه اجرا کند.

ML Kit هم در راه است

Google اعلام کرده در هفته‌های آینده EmbeddingGemma 2 را به‌صورت سرویس در Android از طریق ML Kit هم در دسترس قرار خواهد داد.

این API قرار است از NPU Acceleration نیز استفاده کند تا اجرای مدل روی طیف وسیع‌تری از گوشی‌ها ساده‌تر شود.

مدل Open-weight با Apache 2.0

EmbeddingGemma 2 با وزن‌های باز منتشر شده است.

مجوز مدل:

Apache License 2.0

است.

بنابراین Developerها می‌توانند وزن‌های مدل را دریافت کنند و آن را در پروژه‌های خود به کار بگیرند.

Repository رسمی Google AI Edge Gallery

خود Google AI Edge Gallery نیز متن‌باز است.

Source Code آن روی GitHub قرار دارد:

مشاهده Google AI Edge Gallery در GitHub →

لینک معرفی رسمی EmbeddingGemma 2

برای مشاهده معرفی رسمی Google AI Edge:

مشاهده معرفی رسمی EmbeddingGemma 2 →

تفاوت EmbeddingGemma 2 با Gemini چیست؟

ویژگی	EmbeddingGemma 2	Gemini
هدف اصلی	Search و Retrieval	تولید و Reasoning
خروجی اصلی	Embedding Vector	متن، کد و محتوا
اجرای روی دستگاه	تمرکز اصلی مدل	بسته به مدل
Media Search	بسیار مناسب	هدف اصلی نیست
تولید پاسخ طولانی	خیر	بله

پس EmbeddingGemma 2 یک Chatbot نیست

این نکته بسیار مهم است.

EmbeddingGemma 2 خودش قرار نیست مثل Gemini یا ChatGPT به سؤال‌های شما پاسخ طولانی بدهد.

وظیفه اصلی آن تبدیل محتوا به Representation قابل مقایسه است.

برای ساخت یک Assistant کامل می‌توان آن را کنار یک مدل Generative قرار داد.

مثلاً:

EmbeddingGemma 2
        ↓
پیدا کردن فایل‌های مرتبط
        ↓
Gemma / Gemini
        ↓
پاسخ نهایی به کاربر

این فناوری برای Privacy چرا مهم است؟

اگر سیستم Search در Cloud اجرا شود، ممکن است برای Index و تحلیل لازم باشد:

• عکس‌ها
• ویدیوها
• صداها
• اسناد شخصی

به Server ارسال شوند.

اما مدل‌های On-device می‌توانند بسیاری از این عملیات را داخل دستگاه نگه دارند.

برای فایل‌های شخصی، سازمانی یا محرمانه این تفاوت اهمیت زیادی دارد.

آیا تمام گوشی‌ها می‌توانند آن را اجرا کنند؟

نه لزوماً.

EmbeddingGemma 2 سبک است، اما سرعت واقعی به سخت‌افزار دستگاه بستگی دارد.

عواملی مثل:

• RAM
• CPU
• GPU
• NPU
• Thermal Limit

روی عملکرد تأثیر دارند.

گوگل اعداد RAM منتشرشده را روی Pixel 11 Pro اندازه‌گیری کرده است؛ بنابراین نباید انتظار داشت تمام گوشی‌های قدیمی عملکرد یکسانی داشته باشند.

چرا EmbeddingGemma 2 مهم است؟

بخش بزرگی از هوش مصنوعی چند سال اخیر وابسته به Cloud بوده است.

اما مدل‌هایی مثل EmbeddingGemma 2 نشان می‌دهند بسیاری از قابلیت‌های هوشمند می‌توانند مستقیماً روی دستگاه اجرا شوند.

در آینده می‌توانیم اپ‌هایی داشته باشیم که بدون Upload کردن اطلاعات شما:

• گالری عکس را جست‌وجو کنند
• لحظه‌ای داخل فیلم پیدا کنند
• فایل‌های صوتی را دسته‌بندی کنند
• اسناد شخصی را Search کنند
• Codebase را Index کنند
• Intent کاربر را تشخیص دهند

و همه این کارها را روی دستگاه انجام دهند.

جمع‌بندی

EmbeddingGemma 2 مدل Multimodal Embedding جدید گوگل است که با نسخه کامل ۷۴۰ میلیون پارامتری می‌تواند متن، کد، تصویر، صوت و ویدیو را داخل یک فضای مشترک درک و مقایسه کند.

مدل برای اجرای Local و Privacy-first طراحی شده و نسخه کامل آن در آزمایش گوگل روی Pixel 11 Pro حدود ۵۶۷ مگابایت RAM فعال مصرف کرده است.

یکی از جذاب‌ترین کاربردهای آن جست‌وجوی معنایی فایل‌های شخصی است؛ مثلاً می‌توانید فقط با نوشتن توضیح یک صحنه، تصویر مرتبط یا لحظه مشخص داخل یک ویدیو را پیدا کنید.

برای تجربه عملی نیز گوگل EmbeddingGemma 2 را داخل Google AI Edge Gallery قرار داده و دو Demo با نام‌های Instant Media Search و Video Moment Finder ارائه کرده است.

جذاب‌ترین بخش EmbeddingGemma 2 فقط کوچک بودن مدل نیست؛ این است که قابلیت‌هایی که قبلاً برای اجرا به Cloud وابسته بودند، حالا می‌توانند مستقیماً روی گوشی و روی فایل‌های شخصی خودتان اجرا شوند.

---

اخبار و آموزش هوش مصنوعی در معین گیفت

در معین گیفت جدیدترین مدل‌های Google، Gemini، Gemma، ChatGPT، Claude و ابزارهای هوش مصنوعی On-device را بررسی می‌کنیم و کاربرد واقعی آن‌ها را برای کاربران و توسعه‌دهندگان توضیح می‌دهیم.

اشتراک‌ها و خدمات مرتبط با این راهنما

برای مقایسه امکانات، قیمت و شرایط خرید، صفحه هر محصول را بررسی کنید.

• آفر ۱۸ ماهه Google AI Pro جیو | Gemini Pro