Anthropic dice en su documentación para salir a bolsa que podría alcanzar pronto un umbral de automejora recursiva de la IA

Según ha informado TechCrunch, Anthropic ha incluido en su documentación para salir a bolsa una advertencia sobre la automejora recursiva. La compañía cree que podría alcanzar pronto uno de los umbrales de su política de seguridad. En concreto, el que define un «progreso drásticamente acelerado atribuible a la IA». Eso sí, aclara que ninguno de sus modelos actuales lo ha superado todavía.

La información aparece en la sección de factores de riesgo del S-1/A que Anthropic presentó el lunes. Es la versión revisada del S-1. Este es el documento que una empresa entrega al regulador bursátil de Estados Unidos antes de salir a bolsa. En esta actualización, además de nuevos datos financieros, hay varias declaraciones sobre el uso de IA en su desarrollo.

¿Qué es la automejora recursiva y qué dice Anthropic?

La automejora recursiva, o RSI, es el punto en que una IA logra entrenarse a sí misma con gran eficacia. En la práctica, eso provocaría una aceleración muy rápida de sus capacidades. Anthropic reconoce en el documento que ya usa IA en su investigación y desarrollo. Sin embargo, advierte de que usarla para crear modelos más capaces podría suponer «un riesgo de seguridad considerable». Ese riesgo sería mayor si el ritmo de progreso, que Dario Amodei pidió reducir, se acelera de forma brusca.

La compañía va más allá. Según explica, usar más IA en su desarrollo podría hacer que sus modelos avancen más rápido que sus medidas de seguridad. Por eso, admite que en el pasado no detectó una aceleración importante de su desarrollo hasta después de producirse. Y avisa de que podría volver a pasarle en el futuro.

¿En qué se basa esa previsión? Según el documento, en sus estimaciones internas y en lo que espera de sus futuros modelos, no de los actuales. Anthropic asegura que sigue evaluando los datos y que este escenario está cubierto por su Responsible Scaling Policy. Esta política recoge sus planes para vigilar y reducir los riesgos a medida que se acerque a la automejora recursiva.

Supervisión humana en el desarrollo de Claude

En el mismo documento, Anthropic se compromete a mantener a las personas dentro del proceso de desarrollo. La compañía no prevé que Claude pueda diseñar y construir, de forma segura y totalmente autónoma, nuevas generaciones de modelos. Incluso si algún día fuera técnicamente posible, considera necesaria una supervisión humana significativa.

Te interesa 👉 Los mejores portátiles para IA que puedes comprar

De hecho, Anthropic indica que está estudiando cambios en su Responsible Scaling Policy. El objetivo es que las personas mantengan el control sobre el desarrollo de sus modelos más avanzados.