Raspberry Pi on ilmoittanut uuden AI HAT+ 2 -lisälaitteen julkaisusta. Se on Raspberry Pi 5 -laitteelle tarkoitettu lisälevy, joka yhtiön mukaan laajentaa laitteen mahdollisuuksia generatiiviseen tekoälyyn liittyvissä sovelluksissa edulliseen hintaan. Kortti sisältää Hailo-10H-neuroverkon kiihdyttimen ja 8 Gt:n erillisen RAM-muistin, mikä yhtiön mukaan mahdollistaa suurten kielimallien (LLM) ajamisen suoraan laitteella ilman internetyhteyttä. Kerromme sinulle kaikki yksityiskohdat alla.
Sisältö
Raspberry AI HAT+ 2:n tekniset tiedot
1. Prosessori
Hailo-10H AI (suorituskyky 40 TOPS INT4:llä)
2. Muisti
8 Gt RAM-muistia
3. Työmäärä
Tietokoneen näkö- ja generatiivisen tekoälyn mallit
4. Ohjelmiston integrointi
Täydellinen integrointi Raspberry Pi -kamerajärjestelmään.
5. Yhteensopivuus
Yhteensopiva Raspberry Pi 5:n kanssa
6. Väline
Paketti sisältää 16 mm:n moduuliliittimen, välilevyt ja ruuvit (jäähdytin myydään erikseen).
7. Hinta
130 dollaria
Lautanen paikallisille malleille
AI HAT+ 2 on merkittävä askel eteenpäin verrattuna edeltäjäänsä, joka julkaistiin hieman yli vuosi sitten. Jos alkuperäinen AI HAT+ oli suunnattu yksinomaan tietokonekuvaukseen liittyviin tehtäviin, kuten esineiden tunnistamiseen, asennon arviointiin ja kohtausten segmentointiin, uusi malli on tarkoitettu vastaamaan kasvavaan kiinnostukseen paikallisten kielimallien käynnistämiseen ilman internetyhteyttä.
Raspberry Pi:n mukaan kortti tarjoaa 40 TOPS:n (INT4:llä) tietojenkäsittelytehon Hailo-10H-sirun ansiosta. Merkittävin uusi ominaisuus on 8 Gt:n LPDDR4X-muisti kortilla, mikä vapauttaa Raspberry Pi 5:n prosessorin ja muistin muihin tehtäviin, kun neuroverkko-kiihdytin käsittelee tekoälyn dataa.
Julkaisun yhteydessä saatavilla on useita kielimalleja, joiden parametrien määrä on 1–1,5 miljardia, mukaan lukien DeepSeek-R1-Distill, Llama 3.2 ja eri versiot Qwen . Yhtiö ilmoittaa, että lähitulevaisuudessa lisätään suurempia malleja, ja käyttäjät voivat mukauttaa nämä mallit tiettyihin tehtäviin käyttämällä esimerkiksi LoRA-menetelmää (low-rank adaptation).
Paperin ulkopuolella
Lisämaksun tarjoamien etujen lisäksi on syytä huomata, että siinä käytetty Hailo 10H -siru on rajoitettu 3 watin tehoon. Tämä tarkoittaa, että vaikka se tarjoaa paremman energiatehokkuuden verrattuna Raspberry Pi 5:ssä olevaan siruun, tämä tehorajoitus johtaa siihen, että lisälaite on suorituskyvyltään heikompi kuin Raspberry Pi 5 .
Lisäksi, vaikka ylimääräiset 8 Gt RAM-muistia ovat uskomattoman hyödyllisiä, on syytä huomata, että 16 Gt:n versio Raspberry Pi 5:stä ylittää tämän laajennuskortin myös tässä suhteessa. On syytä muistaa, että monet kvantisoituja ja keskikokoisia kielimalleja käyttävät yleensä yli 10 Gt RAM-muistia, joten AI HAT+ 2 on rajoitettu kompaktimpiin malleihin.
Se on kuitenkin erittäin mielenkiintoinen ratkaisu, joka antaa Raspberry Pi 5:lle mahdollisuuden hyödyntää lisälevyn suorituskykyä mallien ajamiseen ja käyttää samalla emolevyn resursseja muihin tehtäviin.
Kenelle se on tarkoitettu?
AI HAT+ 2 -kortti säilyttää edeltäjänsä tietokonekuvauksen ominaisuudet ja voi Raspberry Pi:n mukaan suorittaa samanaikaisesti kuvankäsittelyä ja kielimallinnusta. Tämä kortti voi löytää markkinaraon sovelluksissa, joissa on rajoitettu energiankulutus ja joissa on yhdistettävä kuvankäsittely ja kielimallien tulostus, kuten teollisuuden automaatiojärjestelmissä tai IoT-laitteissa.
Se voi olla hyödyllinen myös kehityspakettina yrityksille, jotka aikovat integroida Hailo-10H-sirun tuotteisiinsa.
Käyttäjille, jotka haluavat vain ajaa kielimallit paikallisesti Raspberry Pi:llä, käytännöllisin vaihtoehto on edelleen ostaa Raspberry Pi 5, jossa on 16 Gt RAM-muistia.
Hinta ja saatavuus
Raspberry Pi AI HAT+ 2 -kortti on nyt saatavilla hintaan 130 dollaria, vaikka hinta riippuu virallisista jälleenmyyjistä. Lisäksi Hailon GitHub-arkistosta ja kehittäjien osiosta löytyy esimerkkejä, oppaita ja dokumentaatiota, jotka auttavat sinua hyödyntämään korttia mahdollisimman tehokkaasti.
