Nuläget med Copilot – tankar och tester kring vad som funkar bäst idag.

Det är alltid intressant att gå tillbaka och läsa sina tidigare texter för att jämföra med nuvarande situation: https://www.linkedin.com/pulse/chatgpt-verdic-robin-iwarzon-erlandsson/?trackingId=EryJ7JVUTfa8K62pmuqSSA%3D%3D (Chat GPT: The verdict is in).

Jag har varit en aktiv användare sedan tidigt i januari och OpenAI premium-prenumerant sedan april/maj. Idag är ChatGPT en del av min auto-launch-kollektion och jag gör ungefär 40% av mina sökningar i ChatGPT. Det är dit jag går för att argumentera med mig själv och ChatGPT är den första som får höra om kodlösningar som inte fungerar som förväntat. Kortfattat har ChatGPT blivit en vital del av mitt arbete – inte som en trovärdig källa med svar på mina problem utan snarare som ett bollplank med second opinions när jag möter problem. Jag frågar, klagar eller argumenterar och den skjuter tillbaka, ibland bra och ibland inte ens i närheten. Men den fungerar som en outtröttlig kollega som bara är intresserad av vad jag gör och vad jag drömmer om.

Det är rätt otroligt att inse att mitt sätt att arbeta har förändrats helt och hållet på under ett år.

Jag använder ju uppenbart OpenAI:s ChatGPT, GPT-4, DALL-E och andra publicerade modeller, men med det sagt, låt oss skifta fokus till vad Microsoft gör och försöker göra inom samma område.

På Asurgent är jag lösningsarkitekt inom Microsoft 365 och Power Platform. Mitt huvudområde är digital utveckling / adoption, vilket gärna resulterar i att jag jobbar med ny teknik, for better and for worse...

Det är en del av mitt arbete att veta, utforska och testa ny funktionalitet med målet att senare kunna rekommendera och guida interna och externa kollegor till framgångsrika implementeringar.

Inom Microsoft 2023 har allt handlat om AI. Särskilt generativ AI i form av Copilot som har tryckts ut i alla kanaler.

Det kommer också i olika former av SKU:er

Båda bilderna presenterades på Microsoft Ignite 2023 men leder nu till två döda länkar på Microsoft Learn, så ta källan med en nypa salt då de är skärmdumpar av tidigare presenterat material.

Jag brukar förklara det såhär:

• ChatGPT är OpenAI:s publicerade chattinterface.
• Bing Chat är Microsofts publicerade chattinterface.

Båda använder sig av OpenAI:s generativa AI-modeller (GPT-4 och GPT-3.5 turbo). Microsoft äger 49% av OpenAI och även rättigheterna att använda deras modeller i sin egen teknologi.

• Bing Chat bytte senare namn till Microsoft Copilot och går nu att använda för vem som helst på https://copilot.microsoft.com/

• Bing Chat Enterprise heter numera Microsoft Copilot Enterprise ­– en “Commercial Data Protection”-miljö för ert data. Även detta är tillgängligt på https://copilot.microsoft.com/ efter att du loggar in med dina Enterprise-uppgifter.

Microsoft har också publicerat en armé av Copilot-komponenter inuti Micrsofts 365 tentant-upplevelsen och det är här det blir lite svårt att hålla dem isär.

Kortfattat så finns det en stor SKU som heter Copilot for Microsoft 365. Den är tillgänglig för Enterprise-kunder och ger dig tillgång till ”The Big One”  

The Big One ger dig tillgång till alla coola funktioner, som att interagera med vilande företagsdata och faktiskt generera nytt eller återanvändande innehåll. Det är baserat på ert företagsdata och nuvarande rättigheter. På begäran använder den en blandning av din in-prompt, dess fördefinierade systemmeddelande och Microsoft Graph för att generera din förfrågan.

Copilot för Microsoft 365 är en bloggpost för sig och något jag ser fram mot att utforska mer när det blir mer tillgängligt. Det är listat som ”generally available” sedan november med det är en väldigt modifierad GA-status.

För att få tillgång behöver du tillhöra Enterprise-segmentet, få tillåtelse och åta dig att ha minst 300 seats i minst 12 månader. Så det är tillgängligt, men för ett specifikt kundsegment.

Med det sagt, låt oss ta en titt på vad som faktiskt är ”generally available” för oss idag.

• Microsoft Copilot Enterprise
• Copilot for Power Platform
• Microsoft Copilot studio (tidigare Power Virtual Agent)
• Copilot för Windows 11
• Azure Open Ai studio.

Microsoft Copilot Enterprise.

Copilot Enteprise fungerar i alla stora webbläsare. Personligen använder jag Chrome som standardwebbläsare, men växlar till Edge vid behov då det erbjuds djupare integration med Copilot.

Till vänster på bilden ovan ser ni Edge och ni kan direkt visuellt se Copilot add-on-sektionen. Båda accepterar ett prompt på 4 000 ord, vilket bör vara ungefär 5 000 tokens. För att ställa det i kontrast så accepterar OpenAI GPT-4 Turbo 128 000 tokens (ungefär 300 sidor text) och föregångarna ca 16 000 tokens.

En stor styrka som tyvärr verkar vara en på/av-funktion är Edges förmåga att interagera med webbplatsen du besöker. När det fungerar kan du besöka en webbplats och interagera med den för att snabbare förstå dess innehåll och ställa ledande frågor om det. Dock verkar det vara avaktiverat majoriteten av gångerna.

Om denna funktionalitet skulle vara tillförlitlig skulle jag se mig själv använda den ofta, men som det är just nu är det helt enkelt inte värt att byta med hopp om att använda funktionen och sedan bli bemött av svaret "Jag är ledsen, det fungerar inte just nu" eller liknande.

Microsoft Copilot Enterprise saknar också funktionen att ladda upp och interagera med data (av goda skäl och SKU-uppgraderingsfördelar) men det gör bara tjänsten ofullständig och inte så användbar jämfört med alternativen.

Mitt sista argument till varför jag föredrar OpenAi:s ChatGPT över Copilot, är strukturen och den mer exakta datagenereringen, men idag verkar den helt missa och således misslyckas jag med att bevisa min poäng. Nedan kan ni se hur samma inmatningsprompt genererar två helt olika svar. Här får Microsoft Copilot Enterprise rätt eftersom den faktiskt går utanför sin kunskap och hämtar den senaste informationen. ChatGPT fastnar i sin grundade datakunskap och misslyckas med att använda sin bläddringsförmåga (något som blev betydligt sämre efter OpenAi:s utvecklarpresentation och deras sammanslagning av GPT-funktionalitet till en enhetlig upplevelse.)

Men detta bevisar den viktigaste punkten när man arbetar med denna generativa AI-teknologi, den tar fel och hallucinerar mycket. Helt enkelt är det inte att lita på när du behöver utforska områden du inte är kunnig inom själv, eftersom du inte kan skilja på en träff och en miss...

Copilot för Power Platform

På grund av att denna bloggpost redan är längre än förväntat kommer vi att begränsa den till Copilot i Power Apps och Power Automate, för denna gång.

Power Apps

Nyligen lades "Förklara det och jag bygger det"-funktionaliteten till i Europa-regionen. Funktionaliteten har varit i förhandsvisningsläge under längre tid i USA.

Här kan du i princip ge den ett use case och den kommer att försöka generera grunderna för dig. "Skapa en tabellapp för tillgångshantering"

Sedan fortsätter den med att skapa en tabell med några dummydata, bra.. bra.

Bytte miljö till USA här, eftersom Copilot-komponenten fortfarande saknas i Europa... men den skapar den moderna canvas-tabellappen och kopplar den till en ny anpassad tabell som kallas Tillgångshantering. So far so good.

Den lägger sedan till lite grundläggande struktur och stödelement. Låt oss se vad vi kan göra med den tillagda Copilot-ramen.

Först ger jag den en slarvig begäran, men i hopp om att den ska koppla ihop punkterna och hjälpa mig. Det gör den inte... Jag förfinar sedan min begäran och då skapar den framgångsrikt en ny skärm som kallas ChatScreen, en ny knapp i Mainscreen som navigerar till ChatScreen och en annan för att gå tillbaka. Bra.. bra.

Knappplaceringen är sämre men man kan inte få allt man vill.

Sedan försöker jag stretch my luck genom att be den att infoga Copilot-"komponenten" och koppla den till den enda tillgängliga datakällan. Men här tar det stopp.

Den lyckades skapa grunderna för oss och få bollen i rullning vilket jag tror passar definitionen copilot.

Jag infogar manuellt Copilot-komponenten, kopplar den till Dataverse Asset Management aktiverar sökindex i tabellen och kör sedan några prompts.

Den misslyckas först med att känna igen datakällan, men ger mig sedan ett radnummer. Radnumret är felaktigt och när jag åberopar det ger den mig fortfarande samma svar.

Om detta hade varit mitt första försök hade jag förmodligen letat efter en lösning, men det liknar resultat som jag tidigare.

För mig är detta lite oroande. Det är en "gratis" komponentlösning men den borde prestera bättre än så här för att förbli relevant.

Det gör mig också nyfiken på vilken nivå big boy-versionen av Copilot för Microsoft 365 faktiskt presterar. Speciellt eftersom det är prissatt liknande en Microsoft 365 E3-användarlicens. Men låt oss avvakta med den frågan tills vi kan prova själva.

Hoppar över till Power Automate.

Samma koncept, ”förklara det och jag bygger det". Provar med promptet: "Skapa ett flöde för att uppdatera objekt i en Power App-tillgångshanteringsapp"

Den tar min luddiga begäran och skapar en enkel trigger med två åtgärder.

Men med fel.

Jag föreställer mig att om jag skulle lägga till de rätta inmatningsplatserna manuellt, kanske den skulle kunna lista ut lösningen men jag föredrar att min Copilot ger mig råd om vad jag ska göra.

Jag försöker uppmana den att lägga till inmatningsplatserna och när den misslyckas utan fel, ber jag den att lösa eventuella nuvarande fel.

Efter den sista begäran lägger den till en tredje åtgärd, villkor och här avslutar vi för dagen.

Återigen är det en "gratis" funktion och vi bör först och främst uppskatta den ­– och för att vara ärlig, om detta var 2022 innan all denna galna AI-funktionalitet började dyka upp ­– skulle detta vara superimponerande.

Men just nu förväntar jag mig mer. För närvarande är det helt enkelt snabbare och mer tillförlitligt att köra ett ensitsigt fordon, men jag hoppas att det förändras snart...

Microsoft Copilot studio (tidigare Power Virtual Agent)

PVA! Nu Copilot studio och GPTs. Detta är en funktion i Power-sviten som jag känner är mycket förbisedd, åtminstone i Skandinavien. Den är välsignad/förbannad med en tenant-licens, men inkluderar en generös provperiod.

Innan bygget/omvandlingen/Viva-namnändringen lekte jag runt och byggde några test- och produktionsbotar. Konceptet är bra och det fungerar ganska bra out-of-the-box. Du kan skapa manuella ämnen som utlöses på nyckelfraser/-ord och designade svar, inklusive att kalla åtgärder från flöden och färdigheter.

I den nya versionen – Copilot Studio – kan du koppla den till din Azure Open Ai-instans och distribuerade modell och du kan också direkt grunda den i dina data genom att ladda upp den, lägga till webbplatser eller SP-sajter för att mata den med data. I PVA med Azure Open AI-anslutning fungerar den från och till. Begäran går igenom men återvänder ofta tomt.

Men om du istället kallar backend AOI api från en HTTP-åtgärd fungerar det felfritt. I Azure Open Ai-studion kopplar den till din data och fungerar också.

Ett annat tillvägagångssätt är att mata in din data direkt i PVA (Copilot studio), det fungerar och kör utan problem, ganska snabba svar också. Jag föreställer mig att datahantering kommer att bli ett problem.

Dina botar kan sedan publiceras i andra Microsoft 365-tjänster, som SharePoint. Detta ger oss möjligheten att ha en faktiskt fungerande Generativ AI-bot som hjälper oss att hitta den data vi behöver, en lättversion av Copilot för Microsoft 365 antar jag.

Till sist har de också lagt till plugin-anrop för att integrera användare som använder Microsoft Copilot med PVA. Här kan du be Microsoft Copilot att leta efter kunskap inom din egen Copilot och sedan skicka tillbaka ett svar. Jag är inte helt säker på hur det ska ställas in och det verkar sakna någon slags variabelanrop men det får tiden utvisa.

Om allt detta är överväldigande men du fortfarande har ett kvarvarande intresse för generativ AI, rekommenderar jag att skapa ett konto på https://chat.openai.com/ och se hur det kan effektivisera din vardagliga affärsverksamhet.

Kom ihåg att inte inkludera några känsliga data för att undvika oönskade datasäkerhetsrisker.

Om du tycker att plattformen är lika intressant som jag gör, prova premiumabonnemanget och börja utforska kaninhålet som stavas generativ AI. Med undantag för den senaste fusion-patchen där de försökte göra det till en one stop shop, har det fungerat extremt bra som en frontlinjeprodukt.

Deras vision för GPT, där du kan skriva i vardagligt språk och GUI och konfigurera din egen chatbot är sjuk och faktum att den fungerar visar att de andra stora spelarna har en del att ta ikapp.

Personligen leker jag runt med den mer strukturerade och grundade versionen av ChatGPT för att kanske tillslut få övertaget över Microsoft 365 och Power Platform-licensstrulet. Men det blir bättre och bättre, testa det här: https://chat.openai.com/g/g-ltjoE7ua6-license-copilot

Den här texten blev längre än tänkt, men om du tog dig hela vägen hit så hoppas jag att det var en värd uppdatering på var vi är för nuvarande.

Tack för din tid.

Robin Iwarzon Erlandsson, Solutions Architect inom Microsoft 365 och Power Platform på Asurgent.