IT Betyár |  Tudásbázis | A.I. Lexikon

A.I. Lexikon

Alfabetikus sorrendben a legfontosabb mesterséges intelligencia fogalmak

<< vissza a Tudásbázis oldalra

Mesterséges Intelligencia M.I. alapfogalmak

Alfabetikus sorrendben, csak görgess lejjebb vagy olvasd egyenként.

Figyelem:  alábbi szövegben az A.I. és M.I. rövidítéseket egyaránt alkalmazzuk, hogy jól megzavarjunk… na jó igazából azért, mert a való életben is vegyesen használja mindenki.

Első szekció

 A – B – C – D – E – F – G – H – I – J

Artificial Intelligence – A.I.

🤖 Mesterséges Intelligencia – M.I.

Az Artificial Intelligence – A.I. a gépek azon képességeit jelenti, mint a gondolkodás, tanulás, tervezés és kreativitás. Így lehetővé téve az írás, tartalomkészítés vagy a rajzolás, kódolás képességét. Az MI széles körben alkalmazható olyan területeken, mint a virtuális asszisztensek, a keresők, a beszéd- és arcfelismerő rendszerek és az önvezető autók.

Feltételei – Mitől M.I. az M.I.?

  • Legyen képes kontextus érzékelése
  • Ez alapján legyen képes dontéshozatalra
  • Reagáljon a bemeneti adatokra és legyen képes probléma megoldása

Extra info : AI Developer tanfolyam

 

Adatbányászat – (Data Science)

Az mesterséges intelligencia és a statisztika módszereinek alkalmazása nagy adathalmazok elemzésére és információk kinyerésére. Az adatbányászat célja a rejtett mintázatok, kapcsolatok és ismeretek felfedezése a strukturált vagy struktúratlan adatokból.

Extra info: SQL Adatbázis tanfolyam

❄️  A.I. Winter – A.I. Tél

Az A.I. tél olyan időszak, amikor a mesterséges intelligencia iránti érdeklődés és támogatás jelentősen csökken, mert a technológiai fejlődés elmarad a korábbi várakozásoktól. Ezek a „telek” főként a túlzott optimizmus és a meg nem valósult ígéretek miatt következtek be, például az 1970-es és az 1980-90-es években. A 2000-es években években azonban az AI újra fellendült, különösen a gépi tanulás és az adatfeldolgozási képességek fejlődése révén.

Bard – Google Bard

A kereső óriás -régi- saját ChatGPT-je. Egy csevegőbot, amely alkalmas, fordításra, kreatív tartalmak generálása, kérdésekre való válaszadásra. A „Megatron-Turing NLG” névre hallgató modellen alapszik.
2024. február >> a Google átkeresztelte a modelljét „Gemini” névre lásd a G-betűnél

Link: bard.google.com

ChatGPT:

az OpenAI nevű cég által fejlesztett nagy méretű nyelvi modell, amely képes beszélgető chatbotok létrehozására és renteget alapvető feladat ellátására. Az egyik leghíresebb A.I. modell.

Link: chat.openai.com

Computer Vision – Számítógépes látás

Az AI technológia egyik ágazata. Önvezetés, robotika, biztonsági vagy orvosi diagnoszitka. A mai modern rendszerek feltaníthatóak az emberéhez hasonó érzékelésre és az alapján döntések meghozatalára.

IT Betyár – Brain Tumor computer vision projekt

Data Preprocessing – Adat Előfeldolgozás:

A folyamat, amely során a nyers adatot tisztítják, átalakítják és szervezik olyan formába, amely alkalmas az elemzésre és machine learning vagy AI modellek fejlesztésére. Ez a lépés döntő fontosságú a pontos MI modellek képzéséhez.

A Data Preprocessing bővebben

Az adat előfeldolgozás során számos lépés és technika alkalmazható a nyers adatok tisztítására, átalakítására. Nézzünk pár példát a különböző szakaszokra:

  1. Hiányzó értékek kezelése: Gyakran előfordul, hogy az adatkészletekben hiányzó értékek találhatók. Mondjuk X statisztika alapján is tanul az M.I., de a statisztika válaszadóinak egy része nem válaszolt bizonyos kérdésekre. Ezeket az értékeket pótolni kell átlaggal vagy a leggyakrabban előforduló értékkel vagy el kell őket távolítani.
  2. Duplikált rekordok eltávolítása: Az adatkészletben duplikált rekordok jelenléte torzíthatja az elemzéseket és modellezést.
  3. Szűrés és kiválasztás: A nyers adatok gyakran tartalmaznak irreleváns információkat vagy zajt. Ezért érdemes kiválasztani csak azokat az attribútumokat vagy változókat, amelyek valóban szükségesek az adott feladathoz.
  4. Normalizálás és skálázás: Az adatok eltérő skálával és mértékegységekkel rendelkezhetnek. Ezt a különbséget normalizálással vagy skálázással lehet kiegyenlíteni, hogy az algoritmusok ne szenvedjenek méretaránybeli torzulást.
  5. „Esztétikai/Szubjektív” változók vagy kategóriák kezelése: Ha  ilyen adatunk is van -márpedig legyen (pl. szín, kategória), ezeket numerikus formátumba kell alakítani, például kódolással, hogy a gépek kezelni értelmezni tudják.
  6. Outlier-ek, kivül eső értékek kezelése: Ezek torzíthatják az elemzéseket és modellezést. Az outlier-eket azonosítani és megfelelően kezelni kell, például szűrés vagy helyettesítés segítségével. Pl: Ingatlan árakat vizsgálunk utcánként, kerületekként és van egy palota, ami 100-szor annyit ér, mint a mellette lévő házak. Ez az ingatlan egy outlier. Megemelné a matematikai átlagot, torz módon. Ezért ezt észre kell vegye és ki kell szűrje az algoritmus.

 

Deep learning

Szó szerint mély tanulás, de mindenki az angol kifejezést használja. A gépi tanulás egy speciális területe. Összetett hálózatokat ú.n. neurális hálózatokat használ arra, hogy adatokból a lényeget kinyerje. Azaz például egy képen, videón felismerjen szöveget, embert, közlekedési lámpát. Audiofolyamból pedig beszédet, szavakat.

Egészen pontosan: amikor „egyszerűbb képletek” helyett már (összetettebb) neurális hálókat használunk és azoknak 1-nél több úgynevezett: rejtett rétege van.

 

Elfogultság és Igazságosság / Bias and Fairness

Az M.I. modellek örökölhetik a tanító adatokban jelen lévő elfogultságokat, aminek eredményeként igazságtalan vagy diszkriminatív eredmények születhetnek. Ennek kezelése fontos szempont az MI fejlesztése során.

Google Colab

A google ingyenes, felhőalapú számítógépe. Programozók, kutatók és IT Betyárok kedvence. Remek megosztási lehetőségek, azonnal tanulható felület, tigris GPU

Extra anyagunk: 3 részes ingyenes, videós Colab kurzus >>

Gemini – Google

A kereső óriás saját ChatGPT-je. Egy csevegőbot, amely alkalmas, fordításra, kreatív tartalmak generálása, kérdésekre való válaszadásra.
2024.február előtt ez a rendszer a „Bard” névre hallgatott

gemini.google

GPT

Generative Pre-trained Transformer.

  • A „Generative” arra utal, hogy ez a modell képes új, korábban nem látott szövegek generálására
  • A „Pre-trained” azt jelenti, hogy előre betanították, természetesen nagy mennyiségű szövegen, lásd itt még: Large Language Modell
  • A „Transformer” egy olyan neurális hálózat felépítést jelöl, amely különösen hatékony a szöveges feladatok esetében.

Generatív modellek

Mesterséges intelligencia technika, amelyben a gépek képesek új és eredeti tartalmak generálására, például képek, szövegek vagy hangok létrehozására, amelyek meghatározott minták és jellemzők alapján készülnek. Röviden: ezt a technikát használják az A.I. eszközök, amikor a kéréseidre, promptokra reagálnak.

Pár legismertebb generatív modell: Chat-GPT, Claude, Gemini, DeepSeek

Jurassic-1 Jumbo

A DeepMind által fejlesztett modell, amely képes szöveget generálni, nyelveket fordítani, különböző kreatív tartalmakat írni, és kérdéseire informatív módon válaszolni. Kvázi a DeepMind ChatGpt-je 🙂
Frissítés: a Jurrasic Jumbo nagyon régi kifutott modell

Mesterséges Intelligencia alapfogalmak

 K – M – N

Keras

A Keras egy magas szintű neurális hálózatokat fejlesztő és működtető nyílt forráskódú Python könyvtár. 

Képgenerátorok:

Szövegből kép (text – to – image) vagy képből kép (image – to  – image) előállítására képes A.I. eszközök.

Ilyen például a Midjourney, a Playground AI, a Leonardo AI, a Dreamstudio, a Stable Diffusion vagy a Microsot Designer.

Egyéb képgeneráláshoz tartozó fogalmak, amelyeket itt tárgyalunk:

  • Inpainting vagy átfestés: egy már létező fotó/generált kép egy bizonyos részletének az átdolgozása, átalakítása. Például egy ember szereplő lecserélése robotra.
  • Outpainting: Magyarra legpontosabban kitöltésként lehetne fordítani. Egy már létező fotó/generált kép alapján, ahhoz új részlet rajzolása. Mondjuk egy négyszög alapú kép két szélének a kitöltése, a kép alapján, hogy széles képformátumot kapjunk.

Kontext window – Kontextus ablak:

A „context window” határozza meg, hogy hány előző szövegrészletet (tokeneket vagy mondatokat) vesz figyelembe az M.I. a válasz előállításakor. Például, ha a „context window” értéke 100 token/mondat, akkor az M.I. csak az utolsó 100 tokenre /mondatra koncentrál a válasz generálása során, figyelmen kívül hagyva az azt megelőző részt.

A chatGPT-3 esetében ez például 2048 token, cca. 1500 szó.

A konvolúciós neurális háló (CNN)

Egy olyan mélytanulási/deep learning architektúra, amelyet elsősorban képfelismerési feladatokra terveztek, de sikeresen alkalmazható más területeken is, például beszédfelismerésben és természetes nyelvfeldolgozásban. 

Röviden mondhatjuk, hogy jelenleg (2024) az elérhető legmodernebb neurális háló típus.

LaMDA:

a Google AI által fejlesztett modell, amely képes szöveget generálni, nyelveket fordítani, különböző kreatív tartalmakat írni, és kérdéseire informatív módon válaszolni.

LLM: Large Language modell / Nagy bázisú nyelvi modell

Az LLM-ek hatalmas mennyiségű szöveges adat alapján alkotott A.I. modellek, amellyek ezen adatok alapján képesek szövegértelmezésre, generálásra, párbeszédvezetésre és sok más nyelvi feladatra. Fő munkaterületük az automatikus válaszadás, tartalomgenerálás, fordítás.

Ilyenek pékdául a ChatGPT, LaMDA, Megatron-Turing NLG.

 

Megatron-Turing NLG:

a Google AI és a NVIDIA által közösen fejlesztett modell, amely a legnagyobb jelenleg létező nyelvi modell. A Bard modell alapja.

 

Mesterséges Intelligencia

Képes tanulni, érteni, következtetéseket levonni, problémákat megoldani. Képes a bejövő információt feldolgozni és tanulni az adatokból akár magán is képes változtatni ezen az alapon.

Területek: Közlekedés, egészségügy, üzleti intelligencia, chatbotok, képgenerálás.

 

NLP: Natural language process

A természetes nyelvfeldolgozás, az AI-nak egy olyan területe, ahol megtanítjuk és megértetjük a számítógépekkel az emberi nyelvet. Így, ha kérdést teszünk fel neki, megérti és válaszol úgy, hogy figyelembe veszi a beszélgetés korábbi részleteit. 

Neurális háló – Neural network

A neurális hálózat egy olyan mesterséges intelligencia modell, amely az emberi agy működését modellezi. Ezek a modellek nagyon rugalmasak és rendkívül sokféle tanulási feladatra alkalmazhatóak, mint például a képfelismerés vagy nyelv feldolgozás.

Nyugodtan mondhatjuk, hogy a mesterséges intelligencia rendszerek alapjait képezik.

<< vissza a Tudásbázis oldalra

… további mesterséges intelligencia alapfogalmak

 O – P – Q – R – S – T

Overfitting – Underfitting / Túltanulás és Alultanulás:

Túltanulás akkor fordul elő, amikor a modell jól megtanulja a képzési adatokat, de rosszul teljesít a még nem látott adatokon. Alultanulás viszont akkor fordul elő, ha a modell túl egyszerű ahhoz, hogy megragadja az adatok alapjául szolgáló mintázatokat.

Prompt

(Eredeti jelentése melléknévként: gyors azonnali, de igeként: felszólítás, sarkall vagy súg a jelentése.)

  • A „prompt” egy olyan szövegrész, amelyet a felhasználó megad az A.I. számára, hogy irányítsa vagy kezdeményezze a választ.
  • Útmutatás az MI-nek arra vonatkozóan, hogy milyen választ vagy információt hozzon létre

RAG – Retrieved Augmented Generation:

Egyedi tudású nyelvi modelleket nevezzük RAG-nek. Lényegük, hogy a komoly nagy nyelvi modellek nincsenek képben, mondjuk a sarki pékség kínálatával, vagy az elektromos művek működési szabályaival. A RAG rendszerk kiegészíthetőek ezekkel az információkkal, mondjuk ChatBot építéshez. PDF-ek, dokumentumok megadásával (pékségről e-művek szabályzatáról) felvértezhetjük nyelvi modellünket egyedi tudással.

Reinforcement Learning from Human Feedback (RLHF)

Azaz „emberi visszajelzésen keresztül tanított”, természetesen valamilyen mesterséges intelligencia modellről van ilyenkor szó. Piszok jól megmagyarázza saját magát, menjünk is tovább.

 

StableDiffusion

Egy nagyon népszerű képgenerátor program. Különlegessége, hogy egy letölthető szoftver és nem egy online fiók. Így a saját számítógépünk erőforrásait használja, így nincs előfizetéshez kötve a használata, magyarul ingyenesen lehet azonos minőségű képeket generálni vele, mint fizetős társaival.

Képgenerálás tanfolyamunkon tanítjuk használatát.

Számítógépes látás:

Az MI egy részhalmaza, amely a számítógépeknek segít a világ vizuális információinak értelmezésében. Például emberek, kutyák, kerékpárosok felismerése önvezető autókban, vagy webes felületek részeinek -mezők, gombok- felismerése folyamatautomatizációhoz.

Szemantikus elemzés:

Egy M.I. rendszerek által használt technika, amely a szövegben lévő jelentést és értelmet elemzi és reprezentálja. A szemantikus elemzés célja a szöveg értelmezése, a kapcsolatok és jelentésbeli összefüggések feltárása.

 

Szintetizál:

Egységeset létrehoz elemekből. pl.: A kutató a kísérletek eredményét szintetizálja elmélete felállításakor; Az író jellemeket szintetizál az új regényébe, az emberismerete alapján. Ezt a folyamatot végzik az AI eszközök, miközben a kéréseinket teljesítik.

 

Szuperalkalmazások:

Ez alatt rendszerint az „All In” jellegű extra hatékony, mindennapi munkára szánt szoftvereket értjük. Amikor egy program egyszerre kezel szöveget, táblázatot, adatbázist, naptárat, prezentációt, képeket, céges üzenőfalat. A.I. eszközökkel kiegészítve a hatékonyság könyört nem ismerő nagykövetei.

Ilyen szuperalkalmazás például a Notion.so, a Coda.io vagy a Clickup.com

Extra anyag: Notion szuperalkamazás az IT Betyár blogban >>

Notion.so magyarul

Tensorflow

A TensorFlow egy nyílt forráskódú gépi tanulási keretrendszer, amelyet eredetileg a Google fejlesztett ki. A TensorFlow lehetővé teszi gépi tanulási modellek fejlesztését és működtetését különféle feladatokhoz, például osztályozáshoz, regresszióhoz és sok más feladathoz.

Token

A „token” egy alapegység vagy elem a szövegfeldolgozásban és a mesterséges intelligencia (MI) területén. A tokenek a szöveg szegmentálására szolgálnak, és lehetnek karakterek, szavak, szimbólumok vagy egyéb szöveges elemek. A ChatGPT esetében az 1 token általában egy karaktert jelent.

 

Tokenizáció

A tokenizáció olyan folyamat, amely során egy adott szöveg vagy mondat felbontódik kisebb részekre, amelyeket tokeneknek nevezünk. A tokenizáció célja, hogy a szöveget szemantikailag és nyelvileg értelmes egységekre bontsa, amelyek könnyen feldolgozhatók vagy elemzhetők az MI rendszerekben. A ChatGPT modellben alkalmazott tokenizációs módszer gyakran a BPE (Byte Pair Encoding)

 

Veszteség függvény

A „veszteségfüggvény” (angolul: loss function) egy olyan matematikai függvény, amely segítségével mérhető, hogy egy gépi tanulási modell (például neurális hálózat) milyen mértékben tér el a valós vagy várt eredményektől. A veszteségfüggvény fontos szerepet játszik a modell tanításában, mivel annak minimalizálása a célja a tanítási folyamatnak.

A veszteségfüggvény célja, hogy kvantitatív értéket adjon arról, hogy a modell mennyire jó vagy rossz az adott feladat megoldásában.

 

Vektor adatbázis

Speciális adatbázis, amit vektorok (számsorozatok) tárolására és keresésére használnak. Ezek a vektorok általában szövegek, képek, hangok vagy más adatok AI által előállított reprezentációi. A nagy nyelvi modellek és az AI rendszerek vektor típusú adatbázisokat használnak.

Így lehetővé téve pl.:  a hasonlóság-alapú keresést: például megkérdezed egy AI modelltől: „mutass hasonló dokumentumokat”, és ő a vektorok közelsége alapján választ.

Pár híres vektor adatbázis: Pinecone, ChromaDB, Qdrant

<< vissza a Tudásbázis oldalra