Beberapa hari lalu pasangan saya Pablinux beritahu mereka cara memasang model Kecerdasan Buatan yang bergaya secara tempatan. Dalam siaran ini saya akan menyenaraikan perkara yang saya anggap sebagai model yang lebih baik daripada DeepSeek dan cara memasang dan menjalankannya pada komputer kami.
Mengetepikan sebarang simpati politik atau antipati, langkah kerajaan China itu merupakan karya agung pemasaran diplomatik yang layak untuk Sun Tzu. Berbeza dengan gaya "Elephant in the Chinaware" Donald Trump, mereka mengumumkan model yang menawarkan ciri yang sama seperti ChatGPT secara percuma dan menggunakan lebih sedikit sumber. Hanya kita yang mengikuti topik yang tahu Terdapat banyak model sumber terbuka lain (beberapa daripada syarikat Amerika Utara seperti Meta) untuk masa yang lama, dan prestasi DeepSeek hanya setanding dengan ChatGPT dalam 5% penggunaan yang paling biasa.
Model bahasa berskala besar
ChatGPT, DeepSeek dan lain-lain dipanggil Model Bahasa Skala Besar. Pada asasnya Mereka membenarkan pengguna berinteraksi dengan komputer dalam bahasa yang serupa dengan yang digunakan untuk berkomunikasi dengan manusia lain. Untuk mencapai matlamat ini, mereka dilatih dengan sejumlah besar teks dan peraturan yang membolehkan mereka menghasilkan maklumat baharu daripada apa yang telah mereka miliki.
Kegunaan utamanya adalah untuk menjawab soalan, meringkaskan teks, membuat terjemahan dan menghasilkan semula kandungan.
Model yang lebih baik daripada DeepSeek dan cara memasangnya secara tempatan
Seperti Pablinux, kita akan menggunakan Ollama. Ini ialah alat yang membolehkan kami memasang, menyahpasang dan menggunakan model sumber terbuka yang berbeza daripada terminal Linux. Dalam sesetengah kes, penyemak imbas boleh digunakan sebagai antara muka grafik, tetapi kami tidak akan membincangkannya dalam artikel ini.
Untuk Ollama memberikan pengalaman pengguna yang betul, sebaiknya mempunyai GPU khusus.Terutama dalam model dengan lebih banyak parameter. Walau bagaimanapun, yang kurang berkuasa boleh digunakan pada Raspberry Pi dan apabila saya menguji model dengan 7 bilion parameter pada komputer dengan 6 gigabait dan tiada GPU khusus, komputer itu berjalan tanpa sebarang gangguan. Perkara yang sama tidak berlaku dengan satu daripada 13 bilion.
Parameter ialah peraturan yang digunakan oleh model untuk membina hubungan dan membina corak antara data. Lebih banyak parameter dan data, model akan menjadi lebih berkuasa;
Kita boleh memasang Ollama dengan arahan
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Kita boleh memasang model dengan arahan:
ollama pull nombre_del modelo
Dan jalankannya dengan:
ollama run nombre_del_modelo
Kami menyahpasangnya menggunakan:
ollama rm nombre_del_modelo
Kita boleh melihat model yang dipasang dengan menaip:
ollama list
Berikut ialah senarai kecil model yang saya dapati paling menarik: Senarai lengkap model yang tersedia boleh didapati di sini di sini:
llama2-tidak ditapis
Llama ialah model tujuan umum yang dicipta oleh Meta. Dalam versi ini semua sekatan yang diperkenalkan oleh pembangun projek asal atas sebab undang-undang atau politik telah dialih keluar.. Ia mempunyai dua versi, versi ringan yang boleh dikendalikan dengan 8GB dan versi penuh yang memerlukan 64. Ia boleh digunakan untuk menjawab soalan, menulis teks atau dalam tugas pengekodan.
Pemasangan dengan:
ollama pull llama2-uncensored
Dan ia berjalan dengan:
ollama run llama2-uncensored
codegemma
CodeGemma ialah pilihan templat yang ringan lagi berkuasa yang membolehkan anda melaksanakan pelbagai tugas pengaturcaraan bagaimana untuk melengkapkan kod atau menulisnya dari awal. Memahami bahasa semula jadi, boleh mengikut arahan dan membuat penaakulan matematik.
Ia datang dalam 3 varian:
- Arahkan: Ia mengubah bahasa semula jadi kepada kod dan boleh mengikut arahan:
- Kod: Lengkapkan dan jana kod daripada bahagian kod sedia ada.
- 2b: Tugas penyiapan kod yang lebih pantas.
Tynillama
Seperti yang ditunjukkan oleh namanya, ia adalah versi yang lebih kecil daripada model Meta asal.. Jadi ia tidak akan mempunyai hasil yang baik, tetapi jika anda ingin melihat cara model Kecerdasan Buatan berfungsi pada perkakasan sederhana, ia patut dicuba. Ia hanya mempunyai 1100 bilion parameter.
Menggunakan model secara tempatan mempunyai kelebihan privasi dan akses kepada versi yang tidak ditapis dan tidak berat sebelah yang dalam beberapa kes cenderung berakhir sebagai tidak masuk akal. AI Microsoft enggan mencipta imej dachshund untuk saya kerana ia menganggap istilah "jalang" menyinggung perasaan. Kelemahan terbesar ialah keperluan perkakasan. Ia akan menjadi masalah mencuba model dan mencari model yang cukup baik untuk apa yang anda perlukan dan boleh dijalankan pada peralatan yang anda miliki.