På GTC Taipei och Computex idag avslöjade NVIDIA Corp. flera fysiska AI-kunskaper och verktyg med öppen-källkod för att hjälpa utvecklare av robotik, autonoma fordon, visuell AI och industriella digitala tvillingar. Företaget hävdade att de kan hjälpa till att minska kostnaderna, tiden och komplexiteten för att bygga fysiska AI-arbetsflöden i stor skala.
Finns som en del avNVIDIA Agent Toolkit, kommer de nya färdigheterna att låta AI-agenter påskynda datagenerering, simulering, utbildning, utvärdering och distribution bakom robotar, autonoma fordon (AV), fabriker och laboratorier, sade företaget.
"AI-agenter revolutionerar mjukvaruutveckling, och den förändringen kommer nu till fysisk AI, och sträcker sig in i de system som kommer att förvandla transport, tillverkning, sjukvård och robotik", säger Jensen Huang, grundare och VD för NVIDIA, på GTC Taipei. "När agenter direkt kan använda NVIDIA-bibliotek, modeller och ramverk kommer fysisk AI-utveckling att gå snabbare, vilket gör det möjligt för utvecklare att bygga framtidens robotar, autonoma fordon och industriella system i en otrolig takt."
"Fysisk AI kräver enorma mängder träningsdata i olika miljöer", konstaterade Rev Lebaredian, vicepresident för fysisk AI-simulering på NVIDIA. "Teleoperation, simulering och internet-data leder till globala grundmodeller för en oändlig mångfald av användningsfall."
NVIDIA gör fysisk AI-stackagent-färdig
NVIDIA sa att de optimerar hela sin fysiska AI-stack för agenter genom att förvandla bibliotek, modeller och ramverk till agent-anropbara verktyg. Detta inkluderar:
NVIDIA Cosmos3 världsfundamentmodeller för fysisk världsresonemang och generering
NVIDIA Omniversebibliotek för simulering och digitala tvillingar
NVIDIA Isaacför robotsimulering och robotinlärning
NVIDIA Metropolisför vision AI
NVIDIA Alpamayoförautonom körning
NVIDIA Jetsonplattform för edge AI-utveckling
"Cosmos 3 är grundmodellen för fysisk AI," sa Lebaredian. "Den förstår videor och text och kan flagga det som är viktigt. Cosmos är en fysiskt korrekt simulering och kan förutsäga vad som händer härnäst och generera åtgärder."
För att hjälpa till att tillämpa dessa verktyg lanseras NVIDIAnya färdigheteratt förvandla fysiska AI-utvecklingsprocesser till repeterbara instruktioner som kodningsagenter kan följa. Detta inkluderar vilka verktyg som ska anropas, vilka utdata som ska produceras och hur utvecklare kan validera resultat.
Utvecklare kan också säkert bygga och distribuera autonoma agenter genom att använda dessa färdigheter medNVIDIA NemoClawritning ochNVIDIA OpenShellruntime, som tillhandahåller policybaserad-säkerhets- och sekretessstyrning på lokal eller molnhårdvara. Agenterna kommer att köra på kanten i Jetson och har redan visat förbättringar i drifttid, sa Lebaredian.
NVIDIA sa att dess fysiska AI-kunskaper och verktyg påskyndar agentutvecklingen över:
Robotik och edge AI:Robotutvecklare kan använda färdigheter för att accelerera hela robotutvecklingspipen, från att generera perceptions- och mobilitetsträningsdata till simulering, automatisera navigationsträning, avancera robotinlärning och trimma Jetson-baserade edge-system för implementering.
Autonoma fordon:För AV-utvecklare kan färdigheter styra agenter att rekonstruera data som fångas av flottor till simuleringsmiljöer, generera fotorealistiska körscenarier i stor skala och köra förstärkningsinlärning med sluten -loop för att utöka utbildnings- och utvärderingstäckningen.
Real-vision AI-agenter:För automatiserad inspektion och videointelligens sa NVIDIA att dess agentkunskaper kan hjälpa team att generera syntetisk träningsdata, finjustera- modeller, automatisera etiketter och bygga AI-agenter för video som söker, sammanfattar och analyserar live eller inspelad video.
Industriell AI:Industriella mjukvaruutvecklare kan använda dessa färdigheter för att konvertera teknisk data till-datorstödd design (CAD)-tillgångar för digital tvillingsimulering, och optimera stora OpenUSD-scener med mindre manuella inställningar.
Sjukvård:Innan automatisering implementeras i kliniska miljöer kan vårdteam vägleda agenter genom att skapa digitala tvillingar av sjukhusmiljöer, sim-till-verklig datagenerering och mjukvara-i-slinga-policytestning.
Kompetenserna kan kombineras och integreras i större agentsystem, enligt NVIDIA. Detta gör det möjligt för utvecklare att orkestrera och automatisera komplexa arbetsflöden som datagenerering, simulering, optimering, inferensjustering, kontinuerlig utvärdering och mer.
Robotutvecklare hämtar fysisk AI-stack
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI och Universal Robots är bland robotföretagen som redan använder NVIDIAs agent-färdiga fysiska AI-stack.
"Med stackuppdateringar i NVIDIA Isaac GR00T kan nya end-to-arbetsflöden ställas in i timmar kontra veckor", sa Lebaredian. "'Omni-modal' betyder att den fungerar med olika lägen - video, sensorer, text och ljud för in- och utsignaler för action."
Dessutom använder Foxconn och Compal NVIDIA Isaac for Healthcare för att accelerera sjukhusrobotik. Compal avancerar utvecklingsprocessen av sin PolyMedX-robot mot en-omfattande orkestreringsplattform för sjukhus, som integrerar simulering, AI och verklig-verksamhet.
Foxconn skalar Nurabot över flera sjukhus och långtidsvårdsmiljöer-, tar med AI--driven robotik till patientvården, samt introducerar sin nya Scrub Nurse Collaborative Robot för att hjälpa till att optimera operationssalens arbetsflöden.
Branschledare bygger med NVIDIA-teknik
NVIDIA-partners och kunder inom tillverkning, transport, hälsovård och industriell programvara använder sina fysiska AI-bibliotek för att främja utvecklingen av autonoma system och industriell AI.
När dessa bibliotek blir agentklara-kan utvecklare använda NVIDIA-kunskaper för att hjälpa agenter att automatisera installation, exekvering och iteration över komplexa fysiska AI-arbetsflöden.
Inom elektroniktillverkning är TSMC och Pegatron finjusterande -visuella inspektionsmodeller. Pegatron har enligt uppgift minskat modellträning och implementeringstid med 67 % med hjälp av syntetiska data genererade från färdigheten Defect Image Generation.
Delta Electronics genererade syntetiska defektdata och använde skickligheten för att fånga upp överskottslödning på metallskenor, vilket förbättrade detekteringsgraden med 17 %. Inventec utvecklade sin pipeline för visuell inspektion av Observation Agent genom att integrera färdigheten Defect Image Generation, vilket minskade ansträngningen för insamling av defektdata för tillverkning av bärbara chassier med 30 %.
Foxconn, som arbetade med DeepHow, använde skickligheten för att förbättra tillverkningseffektiviteten genom att fånga upp fel tidigt, vilket ökade avkastningen vid första passagen med cirka 3 %.
Inom industriell AI använder Cadence, Dassault Systèmes, Siemens och Synopsys NVIDIA Omniverse-bibliotek och färdigheter för teknisk datainspektion, simulering och interaktiva digitala tvillingar. PTC, MetAI och Lightwheel utnyttjar NVIDIA Isaac Sim-ramverket och OpenUSD-baserade arbetsflöden för att omvandla CAD-data till simulerings-tillgångar och miljöer.
Som en del av sin "Autonomous Fab 2030"-färdplan, implementerar SK hynix halvledarfab digitala tvillingar med hjälp av NVIDIA Omniverse. Chiptillverkaren samarbetar också med NVIDIA och SK Telecom för att validera NVIDIA Agent Toolkit för tillverkning av-specifik fysisk AI.
Själv-utvecklarna Li Auto, Afari och DeepRoute.ai använder NVIDIA Omniverse NuRec-modeller för rekonstruktion och rendering av neurala scener. De har genererat mer än 1 000 rekonstruktioner och mer än 300 000 renderingar och simuleringar per dag.
Dessutom använder AV-företagen det nya agentkompetensförrådet för att påskynda och förbättra sin utveckling av säkrare, mer kapabla autonoma körsystem. Foxconn, VinFast, Uber och HUMAIN har anslutit sig till NVIDIA DRIVE Hyperion-ekosystemet för att utveckla och distribuera SAE Level 4 robotaxel.
Alpamayo 2 Super har redan laddats ner över 500 000 gånger och utsågs till "Bästa teknologin" på Computex, säger Spencer Huang, chef för produkt för robotik på NVIDIA.
Verktyg för fysiska AI-agenter är nu tillgängliga
NVIDIA sa att dess fysiska AI-agentverktyg och färdigheter är tillgängliga viaGitHubochfärdigheter.shför användning med något kodningsmedel.
Agentfärdigheter och verktyg för generering av syntetisk data -Neural rekonstruktion, Videoförstärkning, Defekt bildgenerering- är också tillgängliga på NVIDIA Brev asFysiska AI-starter, förkonfigurerade miljöer som kombinerar agentfärdigheter och verktyg för snabbare generering och utvärdering av syntetisk data.
Microsoft,CoreWeave, ochNebiusintegrerar dessa agentfärdigheter och verktyg med sina molntjänster för att göra det möjligt för utvecklare att effektivisera och skala generering och distribution av syntetisk data.
Unitree humanoid referensen för NVIDIA Isaac GR00T
NVIDIA tillkännagav också NVIDIA Isaac GR00T Reference Humanoid Robot, en öppen humanoid robotreferensdesign byggd på NVIDIA Jetson Thor och NVIDIA Isaac GR00T utvecklingsplattform. Företaget sa att detta kommer att hjälpa till att demokratisera tillgången till avancerad hårdvara och mjukvara utan att kräva dyra, proprietära plattformar som intresse förhumanoider för allmänna-ändamålökar.
NVIDIA kombinerade en robotkropp i full-storlek med skicklig manipulation, avkänning, kontroll och inbyggd AI-beräkning:
Unitree H2 humanoid chassi,står nästan 1,8 m lång och väger 150 lb. (68 kg), med 31 frihetsgrader för testning på mänsklig-skala.
DubbelSharpa Wavetaktila fem-fingerhänder,möjliggör skicklig manipulation med 22 frihetsgrader och ger roboten 75 frihetsgrader över hela kroppen och händerna.
Multi-avkänning,inklusive en huvudmonterad-stereokamera med brett synfält (140 grader horisontellt, 102 grader vertikalt), handledskameror för manipulation på nära håll och en tröghetsmätenhet för rörelsespårning.
Hela-kroppskontroll,med armvridmoment på upp till 120 Newton-meter, benmoment på upp till 360 Newton-meter, en nominell armlast på 7 kg (15,4 lb.) och en maximal nyttolast på 15 kg (33 lb.), vilket låser upp mer kapabla lyft och räckvidd.
NVIDIA Jetson AGX Thor T5000 inbyggd dator,med en NVIDIA Blackwell GPU med 2 070 FP4 teraflops AI-prestanda, en 14-core Arm CPU, 128 GB enhetligt minne och ett konfigurerbart effektområde på 40 till 130 watt för sensorbearbetning i realtid och robotinferens.
Anslutningsmöjligheteröver Ethernet, Wi-Fi 6, Bluetooth 5.2, USB och en rad mikrofoner och högtalare för röstinteraktion.
Batteri för längre drift,med en kapacitet på 15 Ah, 0,972 kWh och cirka tre timmars livslängd.
På-fjärrstyrt nödstoppfunktion för att snabbt koppla ur roboten på ett säkert sätt.
Isaac GR00T-plattformen inkluderar:
NVIDIA Isaac Teleopför att fånga in-robotdemonstrationsdata av hög kvalitet för utbildning och policyutveckling.
NVIDIA Isaac GR00T öppna grundmodellerför att stödja humanoida resonemang, inlärning och multitaskbeteende.
NVIDIA Isaac Sim ochIsaac Labför att simulera, träna, testa och utvärdera robotpolicyer innan verklig-implementering.
Accelererad NVIDIA Isaac ROS-mellanvaraatt flytta utbildade policyer till robotar.
NVIDIA Jetson Thoratt köra real-tid, på-robotinferens och kontroll.
Systemet är designat för att vara modulärt, så att robotteam kan använda hela plattformen eller integrera utvalda funktioner i befintliga utvecklingspipelines, vilket hjälper dem att skala humanoid utveckling utan att bygga om samma infrastruktur för varje robot eller uppgift.
Ledande forskningsinstitutioner inklusive Ai2, ETH Zürich, Stanford Robotics Center och UC San Diegos Advanced Robotics and Controls Laboratory planerar att använda denna referensdesign för att främja forskning om humanoid robotik.
"För att göra framsteg mot generella-robotar behöver forskare plattformar som är både kapabla och brett tillgängliga", säger Deepak Pathak, med-grundare och VD för Skild AI. "En referensdesign låter fler forskare delta i humanoid forskning och gå från idéer till experiment snabbare. Detta hjälper till att driva hela robotforskningens ekosystem framåt."