NVIDIA Luncurkan Layanan Mikro NIM untuk AI Generatif di Jepang dan Taiwan

NVIDIA baru-baru ini meluncurkan empat layanan mikro NVIDIA NIM yang memfasilitasi pengembangan dan penggunaan aplikasi AI generatif berkinerja tinggi dengan fokus pada kebutuhan regional di Jepang dan Taiwan. Layanan mikro ini mendukung model-model bahasa lokal untuk meningkatkan pemahaman dan interaksi dengan pengguna melalui bahasa dan budaya setempat.

Model Bahasa Regional untuk Kinerja Optimal

Di Asia-Pasifik, pendapatan perangkat lunak AI generatif diperkirakan mencapai $48 miliar pada 2030, meningkat pesat dari $5 miliar saat ini. NVIDIA memperkenalkan model-model seperti Llama-3-Swallow-70B, yang dilatih dengan data bahasa Jepang, dan Llama-3-Taiwan-70B, yang menggunakan data bahasa Mandarin. Model-model ini dirancang untuk memberikan pemahaman yang lebih mendalam tentang hukum, peraturan, dan adat istiadat setempat.

Model RakutenAI 7B, yang dibangun di atas Mistral-7B, juga tersedia dalam layanan mikro untuk aplikasi Chat dan Instruct. Model-model ini unggul dalam tolok ukur LM Evaluation Harness dan mendukung berbagai aplikasi, termasuk penerjemahan dan perangkuman bahasa.

Keuntungan dan Penerapan Layanan Mikro NIM

Layanan mikro NIM memanfaatkan optimasi inferensi melalui pustaka NVIDIA TensorRT-LL dan dapat memberikan throughput hingga 5 kali lebih tinggi dibandingkan model dasar. Ini mengurangi biaya operasional dan meningkatkan pengalaman pengguna dengan latensi yang lebih rendah.

Layanan mikro ini tersedia sebagai antarmuka pemrograman aplikasi (API) dan mendukung penerapan dalam berbagai industri global, termasuk kesehatan, keuangan, manufaktur, pendidikan, dan hukum.

Contoh Penggunaan dan Kolaborasi

• Tokyo Institute of Technology telah menyempurnakan Llama-3-Swallow 70B dengan data berbahasa Jepang untuk aplikasi di berbagai industri di Jepang.
• Preferred Networks mengembangkan model perawatan kesehatan khusus, Llama3-Preferred-MedSwallow-70B, yang unggul dalam Ujian Nasional Dokter Jepang.
• Chang Gung Memorial Hospital di Taiwan menggunakan Llama 3-Taiwan 70B untuk meningkatkan efisiensi staf medis dengan panduan berbasis bahasa lokal.
• Pegatron mengadopsi layanan mikro untuk mengotomatisasi proses dan meningkatkan efisiensi di bidang manufaktur.

Menciptakan Model Khusus dengan NVIDIA AI Foundry

NVIDIA AI Foundry menyediakan platform dan layanan untuk penyempurnaan model fondasi dan pengembangan model khusus. Ini termasuk akses ke NVIDIA NeMo untuk penyempurnaan dan NVIDIA DGX Cloud untuk kapasitas khusus. Platform ini memungkinkan pengembang untuk menciptakan dan menerapkan layanan mikro NIM yang sesuai dengan kebutuhan bisnis dan keahlian domain mereka.