T-Technologies: Open-Source-Strategie in AI/ML und LLM-Entwicklung

Offene Innovation in KI/ML: Die Strategie von T-Technologies für LLM- und Tool-Entwicklung

Die T-Technologies Group treibt ihre Initiativen im Bereich Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) aktiv voran, wobei ein starker Fokus auf einem Open-Source-Ansatz liegt. Diese Strategie verbessert nicht nur interne Produkte, sondern leistet auch einen wesentlichen Beitrag zur globalen Ingenieursgemeinschaft. Im Kern dieser Strategie steht ein tiefes Verständnis für die entscheidende Rolle, die offene Daten, Modelle und Tools bei der Beschleunigung der Entwicklung von KI-Technologien spielen, insbesondere im Bereich großer Sprachmodelle (LLMs).

Die Open-Source-Philosophie in der KI-Entwicklung

Die Förderung offener Technologien in der Künstlichen Intelligenz ist zu einem Eckpfeiler der Strategie von T-Technologies geworden. Dem Beispiel globaler Innovatoren folgend, beteiligt sich das Unternehmen aktiv am Open-Source-Ökosystem, indem es eigene LLMs, Bibliotheken und Datensätze veröffentlicht. Dieser Ansatz wird nicht nur vom Wunsch angetrieben, Fortschritte zu teilen, sondern auch von pragmatischen Zielen, wie der Stärkung der Technologiemarke und der Anziehung von Top-Talenten. Anatoly Potapov, Leiter der LLM Fundamental Technologies Group, merkt an, dass Initiativen zur Veröffentlichung von Open-Source-Lösungen direkt von den Entwicklungsteams ausgehen und umfassende Unterstützung vom Top-Management erhalten.

Innerhalb der KI-Branche ist eine Kultur der Offenheit besonders ausgeprägt, da Fortschritt maßgeblich vom Austausch von Forschungsergebnissen, Modellen und Tools abhängt. Dies ermöglicht es Unternehmen und Forschern, auf bestehenden Lösungen aufzubauen, anstatt das Rad neu zu erfinden, wodurch Innovationen beschleunigt werden. Für T-Technologies ist Open Source zu einer Methode geworden, um ihre Kernlösungen zu validieren und die Relevanz ihrer gewählten Richtung zu bestätigen. Laut Daniil Gavrilov, der die KI-Forschung leitet, sind solche Initiativen eine Notwendigkeit, da Forschung ihrer Natur nach offen und reproduzierbar sein sollte.

Die Vorteile von Open Source für das Unternehmen sind vielfältig:

• Stärkung der Technologiemarke: Die Veröffentlichung hochwertiger Modelle und Tools erhöht die Bekanntheit des Unternehmens innerhalb der IT-Community.
• Anziehung von Talenten: Open-Source-Projekte wirken als starker Magnet für führende ML-Ingenieure und Forscher, die mit Spitzentechnologien arbeiten und zur Branche beitragen möchten.
• Optimierung interner Prozesse: Für Open Source entwickelte Lösungen finden oft interne Anwendungen, was die Effizienz operativer Aufgaben steigert.
• Community-Feedback: Der Austausch mit externen Entwicklern liefert wertvolles Feedback, das zu Produktverbesserungen und der Identifizierung neuer Forschungsfelder führt.
• Investition in die Community: Die Unterstützung von Open Source wird als Beitrag zur Weiterentwicklung des gesamten Ingenieurwesens betrachtet, wovon langfristig alle Marktteilnehmer profitieren.

Wichtige Open-Source-Projekte und Tools

T-Technologies entwickelt und veröffentlicht aktiv eine Vielzahl von KI/ML-Lösungen, die sowohl große Sprachmodelle selbst als auch die Tools für deren Training und Analyse umfassen. Zu den prominentesten Projekten gehören die Sprachmodelle T-Pro 2.0 und T-One, die die dritte Generation der proprietären LLMs des Unternehmens darstellen. Diese Modelle zeigen zusammen mit dem zuvor veröffentlichten T-lite die Fähigkeit des Unternehmens, wettbewerbsfähige Basislösungen zu schaffen.

Besonderes Augenmerk wird auf Tools für die Arbeit mit LLMs gelegt. Die Bibliothek Turbo Alignment sticht in diesem Bereich als Schlüsselprojekt hervor. Sie wurde für das Fine-Tuning großer Sprachmodelle für spezifische Produktaufgaben entwickelt. Dieses Tool, das in Zusammenarbeit zwischen Forschungs- und Produktteams entstand, hat sich sowohl intern als auch extern als äußerst wertvoll erwiesen und seine Effektivität und Vielseitigkeit unter Beweis gestellt. Laut Anatoly Potapov werden solche Tools zu "wiederverwendbaren Bausteinen", die zahlreichen Projekten zugutekommen.

Neben Modellen und Tools teilt das Unternehmen auch offene Datensätze und Benchmarks. So wurde beispielsweise ein synthetischer, domänenübergreifender Datensatz für die Forschung an Empfehlungssystemen veröffentlicht. Dies erhöht die Reproduzierbarkeit wissenschaftlicher Arbeiten und beschleunigt den Fortschritt in verwandten KI-Bereichen. Veröffentlichte Materialien (wie ReBased, CORL, Headless-AD) unterstützen die Forschung und stellen der Community wertvollen Quellcode und Kernels für das Training zur Verfügung.

Forschung und Entwicklung: Ein dualer Ansatz für grundlegende und angewandte KI

Die KI-Abteilung von T-Technologies umfasst sowohl ein Grundlagenforschungslabor als auch ein Zentrum für angewandte Forschung und Entwicklung (F&E). Dieser duale Ansatz ermöglicht es dem Unternehmen, gleichzeitig langfristige wissenschaftliche Projekte zu verfolgen und unmittelbare geschäftliche Herausforderungen anzugehen.

Die Grundlagenforschung, geleitet von Daniil Gavrilov, konzentriert sich auf die Entwicklung von Spitzentechnologien mit einer langfristigen Vision. Die Ergebnisse dieser Forschung werden häufig in wissenschaftlichen Arbeiten auf A*-Konferenzen veröffentlicht, was als Validierung des Fortschritts und als Demonstration der Expertise dient. Ziel solcher Veröffentlichungen ist es nicht nur, Wissen zu teilen, sondern auch sicherzustellen, dass die Forschung reproduzierbar ist, ein Eckpfeiler der wissenschaftlichen Methode.

Angewandte F&E-Projekte sind darauf ausgerichtet, Lösungen für spezifische Geschäftsbereiche des Unternehmens zu entwickeln. Diese Teams stellen Produkte aus bestehenden oder sich schnell entwickelnden Technologien zusammen. Während dieser Entwicklungen können auch neue Forschungsergebnisse entstehen, wenn ein Team überzeugende Resultate erzielt, die einer Veröffentlichung würdig sind. Diese Interaktion zwischen grundlegenden und angewandten Richtungen fördert eine starke interne KI-Community, die den Austausch von Wissen und Erfahrungen erleichtert.

Dieser Ansatz ermöglicht es dem Unternehmen:

• Fortschrittliche Technologien zu schaffen: Die Grundlagenforschung legt den Grundstein für zukünftige innovative Produkte.
• Schnell auf Geschäftsanforderungen zu reagieren: Angewandte Teams integrieren KI-Lösungen zügig in bestehende Produkte.
• Interne Expertise zu entwickeln: Das Zusammenspiel verschiedener Forschungsarten bereichert die Erfahrung der Spezialisten und fördert deren berufliches Wachstum.
• Eine innovative Kultur zu fördern: Das kontinuierliche Streben nach neuen Lösungen und die Bereitschaft, Wissen zu teilen, werden Teil der Unternehmens-DNA.

Beitrag zur Community und Bildung

Über die Veröffentlichung offener Modelle und Tools hinaus investiert T-Technologies aktiv in die Entwicklung der KI-Community und in die Bildung. Dazu gehören die Organisation von Schulungsveranstaltungen, die Durchführung von Universitätskursen und die Zusammenarbeit mit Bildungszentren wie "Sirius". Ziel dieser Initiativen ist es nicht nur, die eigenen Lösungen zu popularisieren, sondern auch das allgemeine Niveau der KI-Kompetenzen innerhalb der Branche zu erhöhen.

Anatoly Potapov weist darauf hin, dass die Nutzung der unternehmenseigenen Modelle und Toolkits in Bildungsprogrammen, wie denen bei "Sirius", dazu beiträgt, Praktikanten vorzubereiten, die bereits mit dem Technologie-Stack des Unternehmens vertraut sind. Dies optimiert den Einstellungsprozess und die Integration neuer Spezialisten. Darüber hinaus führt die weite Verbreitung ihrer Lösungen innerhalb der Community dazu, dass Personen mit Vorerfahrung in der Nutzung ihrer Tools für das Unternehmen arbeiten möchten.

Daniil Gavrilov betont, dass Bildungsaktivitäten, wie das Unterrichten von Universitätskursen, als Investition in die Zukunft betrachtet werden. Ziel ist es nicht nur, Mitarbeiter zu rekrutieren, sondern das gesamte Feld der KI voranzutreiben und das Wachstum von Expertise und Innovation zu fördern. Die Veröffentlichung wissenschaftlicher Arbeiten, auch wenn es keine direkten Anleitungen sind, liefert Forschern und Entwicklern Wissen, das sie nutzen können, um ihre eigenen Projekte voranzutreiben. Auf diese Weise trägt das Unternehmen zur kollektiven Weiterentwicklung des gesamten KI-Bereichs bei.

Es ist wichtig zu beachten, dass, während Trainingsberichte für große Sprachmodelle anderer Unternehmen oft nur vage Erklärungen ohne Details sind, T-Technologies bestrebt ist, ausreichend detaillierte Materialien zu veröffentlichen, die die Reproduktion ihrer Arbeit ermöglichen. Dies steht im Einklang mit den Prinzipien der Open Science und fördert die Transparenz innerhalb der Branche.

Wichtige Erkenntnisse

• Open Source als Strategie: T-Technologies nutzt Open Source aktiv für die KI/ML-Entwicklung, Markenstärkung und Talentgewinnung.
• Schlüsselprojekte: Das Unternehmen veröffentlicht eigene LLMs (T-Pro 2.0, T-One), Tools (Turbo Alignment) und Datensätze und trägt so zum Wachstum des globalen KI-Ökosystems bei.
• Dualer Forschungsansatz: Die Kombination aus grundlegender und angewandter F&E ermöglicht die Schaffung von Spitzentechnologien und deren schnelle Integration in Produkte.
• Beitrag zur Community: Aktive Teilnahme an Bildungsprogrammen und die Veröffentlichung wissenschaftlicher Arbeiten tragen dazu bei, das allgemeine Niveau der KI-Kompetenzen zu erhöhen.
• Reproduzierbarkeit und Transparenz: Das Unternehmen verpflichtet sich, detaillierte Materialien für seine Open-Source-Projekte bereitzustellen, um deren Reproduzierbarkeit und Weiterentwicklung zu gewährleisten.

— Editorial Team