Various cleanups.
Add handling for task setting. Add handling for ggml_compute_backward. Rename functions to ggml_map_unary_f32 and ggml_map_binary_f32 Fix compiler warnings related to casting function pointers and `void *` Reorder functions and definitions based on the GGML op number. Use typedefs for map op function pointer types.
This commit is contained in:
KerfuffleV2
parent
1c73d4eec7
commit
7d695973a5
2 changed files with 216 additions and 203 deletions
393
ggml.c
393
ggml.c
|
|
@ -3678,91 +3678,6 @@ struct ggml_tensor * ggml_dup_inplace(
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
// ggml_map_binary
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_map_binary_impl(
|
|
||||||
struct ggml_context * ctx,
|
|
||||||
struct ggml_tensor * a,
|
|
||||||
struct ggml_tensor * b,
|
|
||||||
void (*const fun)(int, float *, float *, float *),
|
|
||||||
bool inplace) {
|
|
||||||
GGML_ASSERT(ggml_are_same_shape(a, b));
|
|
||||||
|
|
||||||
bool is_node = false;
|
|
||||||
|
|
||||||
if (!inplace && (a->grad || b->grad)) {
|
|
||||||
is_node = true;
|
|
||||||
}
|
|
||||||
|
|
||||||
struct ggml_tensor * addr_tensor = ggml_new_tensor_1d(ctx, GGML_TYPE_I32, sizeof(void *) / sizeof(int32_t));
|
|
||||||
*((void **)addr_tensor->data) = fun;
|
|
||||||
struct ggml_tensor *result = inplace ? ggml_view_tensor(ctx, a) : ggml_dup_tensor(ctx, a);
|
|
||||||
|
|
||||||
result->op = GGML_OP_MAP_BINARY;
|
|
||||||
result->grad = is_node ? ggml_dup_tensor(ctx, result) : NULL;
|
|
||||||
result->src0 = a;
|
|
||||||
result->src1 = b;
|
|
||||||
result->opt[0] = addr_tensor;
|
|
||||||
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_map_binary(
|
|
||||||
struct ggml_context * ctx,
|
|
||||||
struct ggml_tensor * a,
|
|
||||||
struct ggml_tensor * b,
|
|
||||||
void (*const fun)(int, float *, float *, float *)) {
|
|
||||||
return ggml_map_binary_impl(ctx, a, b, fun, false);
|
|
||||||
}
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_map_binary_inplace(
|
|
||||||
struct ggml_context * ctx,
|
|
||||||
struct ggml_tensor * a,
|
|
||||||
struct ggml_tensor * b,
|
|
||||||
void (*const fun)(int, float *, float *, float *)) {
|
|
||||||
return ggml_map_binary_impl(ctx, a, b, fun, true);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ggml_map_unary
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_map_unary_impl(
|
|
||||||
struct ggml_context * ctx,
|
|
||||||
struct ggml_tensor * a,
|
|
||||||
void (*const fun)(int, float *, float *),
|
|
||||||
bool inplace) {
|
|
||||||
bool is_node = false;
|
|
||||||
|
|
||||||
if (!inplace && a->grad) {
|
|
||||||
is_node = true;
|
|
||||||
}
|
|
||||||
|
|
||||||
struct ggml_tensor * addr_tensor = ggml_new_tensor_1d(ctx, GGML_TYPE_I32, sizeof(void *) / sizeof(int32_t));
|
|
||||||
*((void **)addr_tensor->data) = fun;
|
|
||||||
struct ggml_tensor *result = inplace ? ggml_view_tensor(ctx, a) : ggml_dup_tensor(ctx, a);
|
|
||||||
|
|
||||||
result->op = GGML_OP_MAP_UNARY;
|
|
||||||
result->grad = is_node ? ggml_dup_tensor(ctx, result) : NULL;
|
|
||||||
result->src0 = a;
|
|
||||||
result->opt[0] = addr_tensor;
|
|
||||||
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_map_unary(
|
|
||||||
struct ggml_context * ctx,
|
|
||||||
struct ggml_tensor * a,
|
|
||||||
void (*const fun)(int, float *, float *)) {
|
|
||||||
return ggml_map_unary_impl(ctx, a, fun, false);
|
|
||||||
}
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_map_unary_inplace(
|
|
||||||
struct ggml_context * ctx,
|
|
||||||
struct ggml_tensor * a,
|
|
||||||
void (*const fun)(int, float *, float *)) {
|
|
||||||
return ggml_map_unary_impl(ctx, a, fun, true);
|
|
||||||
}
|
|
||||||
|
|
||||||
|
|
||||||
// ggml_add
|
// ggml_add
|
||||||
|
|
||||||
struct ggml_tensor * ggml_add_impl(
|
struct ggml_tensor * ggml_add_impl(
|
||||||
|
|
@ -4997,6 +4912,90 @@ struct ggml_tensor * ggml_flash_ff(
|
||||||
return result;
|
return result;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// ggml_map_unary
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_unary_impl_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
const ggml_unary_op_f32_t fun,
|
||||||
|
bool inplace) {
|
||||||
|
bool is_node = false;
|
||||||
|
|
||||||
|
if (!inplace && a->grad) {
|
||||||
|
is_node = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
struct ggml_tensor * addr_tensor = ggml_new_tensor_1d(ctx, GGML_TYPE_I32, sizeof(void *) / sizeof(int32_t));
|
||||||
|
*((void (**)(void))addr_tensor->data) = (void (*)(void))fun;
|
||||||
|
struct ggml_tensor *result = inplace ? ggml_view_tensor(ctx, a) : ggml_dup_tensor(ctx, a);
|
||||||
|
|
||||||
|
result->op = GGML_OP_MAP_UNARY;
|
||||||
|
result->grad = is_node ? ggml_dup_tensor(ctx, result) : NULL;
|
||||||
|
result->src0 = a;
|
||||||
|
result->opt[0] = addr_tensor;
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_unary_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
const ggml_unary_op_f32_t fun) {
|
||||||
|
return ggml_map_unary_impl_f32(ctx, a, fun, false);
|
||||||
|
}
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_unary_inplace_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
const ggml_unary_op_f32_t fun) {
|
||||||
|
return ggml_map_unary_impl_f32(ctx, a, fun, true);
|
||||||
|
}
|
||||||
|
|
||||||
|
// ggml_map_binary
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_binary_impl_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
struct ggml_tensor * b,
|
||||||
|
const ggml_binary_op_f32_t fun,
|
||||||
|
bool inplace) {
|
||||||
|
GGML_ASSERT(ggml_are_same_shape(a, b));
|
||||||
|
|
||||||
|
bool is_node = false;
|
||||||
|
|
||||||
|
if (!inplace && (a->grad || b->grad)) {
|
||||||
|
is_node = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
struct ggml_tensor * addr_tensor = ggml_new_tensor_1d(ctx, GGML_TYPE_I32, sizeof(void *) / sizeof(int32_t));
|
||||||
|
*((void (**)(void))addr_tensor->data) = (void (*)(void))fun;
|
||||||
|
struct ggml_tensor *result = inplace ? ggml_view_tensor(ctx, a) : ggml_dup_tensor(ctx, a);
|
||||||
|
|
||||||
|
result->op = GGML_OP_MAP_BINARY;
|
||||||
|
result->grad = is_node ? ggml_dup_tensor(ctx, result) : NULL;
|
||||||
|
result->src0 = a;
|
||||||
|
result->src1 = b;
|
||||||
|
result->opt[0] = addr_tensor;
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_binary_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
struct ggml_tensor * b,
|
||||||
|
const ggml_binary_op_f32_t fun) {
|
||||||
|
return ggml_map_binary_impl_f32(ctx, a, b, fun, false);
|
||||||
|
}
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_binary_inplace_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
struct ggml_tensor * b,
|
||||||
|
const ggml_binary_op_f32_t fun) {
|
||||||
|
return ggml_map_binary_impl_f32(ctx, a, b, fun, true);
|
||||||
|
}
|
||||||
|
|
||||||
////////////////////////////////////////////////////////////////////////////////
|
////////////////////////////////////////////////////////////////////////////////
|
||||||
|
|
||||||
void ggml_set_param(
|
void ggml_set_param(
|
||||||
|
|
@ -5421,111 +5420,6 @@ static void ggml_compute_forward_dup(
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// ggml_compute_forward_map_unary
|
|
||||||
|
|
||||||
static void ggml_compute_forward_map_unary_f32(
|
|
||||||
const struct ggml_compute_params * params,
|
|
||||||
const struct ggml_tensor * src0,
|
|
||||||
struct ggml_tensor * dst,
|
|
||||||
void (*const fun)(int, float *, float *)) {
|
|
||||||
GGML_ASSERT(ggml_are_same_shape(src0, dst));
|
|
||||||
|
|
||||||
if (params->type == GGML_TASK_INIT || params->type == GGML_TASK_FINALIZE) {
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
const int n = ggml_nrows(src0);
|
|
||||||
const int nc = src0->ne[0];
|
|
||||||
|
|
||||||
assert( dst->nb[0] == sizeof(float));
|
|
||||||
assert(src0->nb[0] == sizeof(float));
|
|
||||||
|
|
||||||
for (int i = 0; i < n; i++) {
|
|
||||||
fun(nc,
|
|
||||||
(float *) ((char *) dst->data + i*( dst->nb[1])),
|
|
||||||
(float *) ((char *) src0->data + i*(src0->nb[1])));
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
|
|
||||||
static void ggml_compute_forward_map_unary(
|
|
||||||
const struct ggml_compute_params * params,
|
|
||||||
const struct ggml_tensor * src0,
|
|
||||||
struct ggml_tensor * dst,
|
|
||||||
void (*const fun)(int, float *, float *)) {
|
|
||||||
switch (src0->type) {
|
|
||||||
case GGML_TYPE_F32:
|
|
||||||
{
|
|
||||||
ggml_compute_forward_map_unary_f32(params, src0, dst, fun);
|
|
||||||
} break;
|
|
||||||
case GGML_TYPE_Q4_0:
|
|
||||||
case GGML_TYPE_Q4_1:
|
|
||||||
case GGML_TYPE_I8:
|
|
||||||
case GGML_TYPE_I16:
|
|
||||||
case GGML_TYPE_I32:
|
|
||||||
case GGML_TYPE_F16:
|
|
||||||
case GGML_TYPE_COUNT:
|
|
||||||
{
|
|
||||||
GGML_ASSERT(false);
|
|
||||||
} break;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// ggml_compute_forward_map_binary
|
|
||||||
|
|
||||||
static void ggml_compute_forward_map_binary_f32(
|
|
||||||
const struct ggml_compute_params * params,
|
|
||||||
const struct ggml_tensor * src0,
|
|
||||||
const struct ggml_tensor * src1,
|
|
||||||
struct ggml_tensor * dst,
|
|
||||||
void (*const fun)(int, float *, float *, float *)) {
|
|
||||||
assert(params->ith == 0);
|
|
||||||
assert(ggml_are_same_shape(src0, src1) && ggml_are_same_shape(src0, dst));
|
|
||||||
|
|
||||||
if (params->type == GGML_TASK_INIT || params->type == GGML_TASK_FINALIZE) {
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
const int n = ggml_nrows(src0);
|
|
||||||
const int nc = src0->ne[0];
|
|
||||||
|
|
||||||
assert( dst->nb[0] == sizeof(float));
|
|
||||||
assert(src0->nb[0] == sizeof(float));
|
|
||||||
assert(src1->nb[0] == sizeof(float));
|
|
||||||
|
|
||||||
for (int i = 0; i < n; i++) {
|
|
||||||
fun(nc,
|
|
||||||
(float *) ((char *) dst->data + i*( dst->nb[1])),
|
|
||||||
(float *) ((char *) src0->data + i*(src0->nb[1])),
|
|
||||||
(float *) ((char *) src1->data + i*(src1->nb[1])));
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
|
|
||||||
static void ggml_compute_forward_map_binary(
|
|
||||||
const struct ggml_compute_params * params,
|
|
||||||
const struct ggml_tensor * src0,
|
|
||||||
const struct ggml_tensor * src1,
|
|
||||||
struct ggml_tensor * dst,
|
|
||||||
void (*const fun)(int, float *, float *, float *)) {
|
|
||||||
switch (src0->type) {
|
|
||||||
case GGML_TYPE_F32:
|
|
||||||
{
|
|
||||||
ggml_compute_forward_map_binary_f32(params, src0, src1, dst, fun);
|
|
||||||
} break;
|
|
||||||
case GGML_TYPE_Q4_0:
|
|
||||||
case GGML_TYPE_Q4_1:
|
|
||||||
case GGML_TYPE_I8:
|
|
||||||
case GGML_TYPE_I16:
|
|
||||||
case GGML_TYPE_I32:
|
|
||||||
case GGML_TYPE_F16:
|
|
||||||
case GGML_TYPE_COUNT:
|
|
||||||
{
|
|
||||||
GGML_ASSERT(false);
|
|
||||||
} break;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// ggml_compute_forward_add
|
// ggml_compute_forward_add
|
||||||
|
|
||||||
static void ggml_compute_forward_add_f32(
|
static void ggml_compute_forward_add_f32(
|
||||||
|
|
@ -9064,6 +8958,111 @@ static void ggml_compute_forward_flash_ff(
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// ggml_compute_forward_map_unary
|
||||||
|
|
||||||
|
static void ggml_compute_forward_map_unary_f32(
|
||||||
|
const struct ggml_compute_params * params,
|
||||||
|
const struct ggml_tensor * src0,
|
||||||
|
struct ggml_tensor * dst,
|
||||||
|
const ggml_unary_op_f32_t fun) {
|
||||||
|
GGML_ASSERT(ggml_are_same_shape(src0, dst));
|
||||||
|
|
||||||
|
if (params->type == GGML_TASK_INIT || params->type == GGML_TASK_FINALIZE) {
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
const int n = ggml_nrows(src0);
|
||||||
|
const int nc = src0->ne[0];
|
||||||
|
|
||||||
|
assert( dst->nb[0] == sizeof(float));
|
||||||
|
assert(src0->nb[0] == sizeof(float));
|
||||||
|
|
||||||
|
for (int i = 0; i < n; i++) {
|
||||||
|
fun(nc,
|
||||||
|
(float *) ((char *) dst->data + i*( dst->nb[1])),
|
||||||
|
(float *) ((char *) src0->data + i*(src0->nb[1])));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
static void ggml_compute_forward_map_unary(
|
||||||
|
const struct ggml_compute_params * params,
|
||||||
|
const struct ggml_tensor * src0,
|
||||||
|
struct ggml_tensor * dst,
|
||||||
|
const ggml_unary_op_f32_t fun) {
|
||||||
|
switch (src0->type) {
|
||||||
|
case GGML_TYPE_F32:
|
||||||
|
{
|
||||||
|
ggml_compute_forward_map_unary_f32(params, src0, dst, fun);
|
||||||
|
} break;
|
||||||
|
case GGML_TYPE_Q4_0:
|
||||||
|
case GGML_TYPE_Q4_1:
|
||||||
|
case GGML_TYPE_I8:
|
||||||
|
case GGML_TYPE_I16:
|
||||||
|
case GGML_TYPE_I32:
|
||||||
|
case GGML_TYPE_F16:
|
||||||
|
case GGML_TYPE_COUNT:
|
||||||
|
{
|
||||||
|
GGML_ASSERT(false);
|
||||||
|
} break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ggml_compute_forward_map_binary
|
||||||
|
|
||||||
|
static void ggml_compute_forward_map_binary_f32(
|
||||||
|
const struct ggml_compute_params * params,
|
||||||
|
const struct ggml_tensor * src0,
|
||||||
|
const struct ggml_tensor * src1,
|
||||||
|
struct ggml_tensor * dst,
|
||||||
|
const ggml_binary_op_f32_t fun) {
|
||||||
|
assert(params->ith == 0);
|
||||||
|
assert(ggml_are_same_shape(src0, src1) && ggml_are_same_shape(src0, dst));
|
||||||
|
|
||||||
|
if (params->type == GGML_TASK_INIT || params->type == GGML_TASK_FINALIZE) {
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
const int n = ggml_nrows(src0);
|
||||||
|
const int nc = src0->ne[0];
|
||||||
|
|
||||||
|
assert( dst->nb[0] == sizeof(float));
|
||||||
|
assert(src0->nb[0] == sizeof(float));
|
||||||
|
assert(src1->nb[0] == sizeof(float));
|
||||||
|
|
||||||
|
for (int i = 0; i < n; i++) {
|
||||||
|
fun(nc,
|
||||||
|
(float *) ((char *) dst->data + i*( dst->nb[1])),
|
||||||
|
(float *) ((char *) src0->data + i*(src0->nb[1])),
|
||||||
|
(float *) ((char *) src1->data + i*(src1->nb[1])));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
static void ggml_compute_forward_map_binary(
|
||||||
|
const struct ggml_compute_params * params,
|
||||||
|
const struct ggml_tensor * src0,
|
||||||
|
const struct ggml_tensor * src1,
|
||||||
|
struct ggml_tensor * dst,
|
||||||
|
const ggml_binary_op_f32_t fun) {
|
||||||
|
switch (src0->type) {
|
||||||
|
case GGML_TYPE_F32:
|
||||||
|
{
|
||||||
|
ggml_compute_forward_map_binary_f32(params, src0, src1, dst, fun);
|
||||||
|
} break;
|
||||||
|
case GGML_TYPE_Q4_0:
|
||||||
|
case GGML_TYPE_Q4_1:
|
||||||
|
case GGML_TYPE_I8:
|
||||||
|
case GGML_TYPE_I16:
|
||||||
|
case GGML_TYPE_I32:
|
||||||
|
case GGML_TYPE_F16:
|
||||||
|
case GGML_TYPE_COUNT:
|
||||||
|
{
|
||||||
|
GGML_ASSERT(false);
|
||||||
|
} break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/////////////////////////////////
|
/////////////////////////////////
|
||||||
|
|
||||||
static void ggml_compute_forward(struct ggml_compute_params * params, struct ggml_tensor * tensor) {
|
static void ggml_compute_forward(struct ggml_compute_params * params, struct ggml_tensor * tensor) {
|
||||||
|
|
@ -9076,13 +9075,13 @@ static void ggml_compute_forward(struct ggml_compute_params * params, struct ggm
|
||||||
} break;
|
} break;
|
||||||
case GGML_OP_MAP_UNARY:
|
case GGML_OP_MAP_UNARY:
|
||||||
{
|
{
|
||||||
void (*const fun)(int, float *, float *) = *((void **)tensor->opt[0]->data);
|
const ggml_unary_op_f32_t fun = *((ggml_unary_op_f32_t *)tensor->opt[0]->data);
|
||||||
ggml_compute_forward_map_unary(params, tensor->src0, tensor, fun);
|
ggml_compute_forward_map_unary(params, tensor->src0, tensor, fun);
|
||||||
}
|
}
|
||||||
break;
|
break;
|
||||||
case GGML_OP_MAP_BINARY:
|
case GGML_OP_MAP_BINARY:
|
||||||
{
|
{
|
||||||
void (*const fun)(int, float *, float *, float *) = *((void **)tensor->opt[0]->data);
|
const ggml_binary_op_f32_t fun = *((ggml_binary_op_f32_t *)tensor->opt[0]->data);
|
||||||
ggml_compute_forward_map_binary(params, tensor->src0, tensor->src1, tensor, fun);
|
ggml_compute_forward_map_binary(params, tensor->src0, tensor->src1, tensor, fun);
|
||||||
}
|
}
|
||||||
break;
|
break;
|
||||||
|
|
@ -9484,6 +9483,11 @@ static void ggml_compute_backward(struct ggml_context * ctx, struct ggml_tensor
|
||||||
{
|
{
|
||||||
GGML_ASSERT(false); // not supported
|
GGML_ASSERT(false); // not supported
|
||||||
} break;
|
} break;
|
||||||
|
case GGML_OP_MAP_UNARY:
|
||||||
|
case GGML_OP_MAP_BINARY:
|
||||||
|
{
|
||||||
|
GGML_ASSERT(false); // not supported
|
||||||
|
} break;
|
||||||
case GGML_OP_NONE:
|
case GGML_OP_NONE:
|
||||||
{
|
{
|
||||||
// nop
|
// nop
|
||||||
|
|
@ -9976,6 +9980,11 @@ void ggml_graph_compute(struct ggml_context * ctx, struct ggml_cgraph * cgraph)
|
||||||
|
|
||||||
work_size = MAX(work_size, cur);
|
work_size = MAX(work_size, cur);
|
||||||
} break;
|
} break;
|
||||||
|
case GGML_OP_MAP_UNARY:
|
||||||
|
case GGML_OP_MAP_BINARY:
|
||||||
|
{
|
||||||
|
node->n_tasks = 1;
|
||||||
|
} break;
|
||||||
case GGML_OP_NONE:
|
case GGML_OP_NONE:
|
||||||
{
|
{
|
||||||
node->n_tasks = 1;
|
node->n_tasks = 1;
|
||||||
|
|
|
||||||
26
ggml.h
26
ggml.h
|
|
@ -422,17 +422,6 @@ struct ggml_tensor * ggml_dup(
|
||||||
struct ggml_context * ctx,
|
struct ggml_context * ctx,
|
||||||
struct ggml_tensor * a);
|
struct ggml_tensor * a);
|
||||||
|
|
||||||
struct ggml_tensor *ggml_map_unary(
|
|
||||||
struct ggml_context *ctx,
|
|
||||||
struct ggml_tensor *a,
|
|
||||||
void (*const fun)(int, float *, float *));
|
|
||||||
|
|
||||||
struct ggml_tensor *ggml_map_binary(
|
|
||||||
struct ggml_context *ctx,
|
|
||||||
struct ggml_tensor *a,
|
|
||||||
struct ggml_tensor *b,
|
|
||||||
void (*const fun)(int, float *, float *, float *));
|
|
||||||
|
|
||||||
struct ggml_tensor * ggml_add(
|
struct ggml_tensor * ggml_add(
|
||||||
struct ggml_context * ctx,
|
struct ggml_context * ctx,
|
||||||
struct ggml_tensor * a,
|
struct ggml_tensor * a,
|
||||||
|
|
@ -666,6 +655,21 @@ struct ggml_tensor * ggml_flash_ff(
|
||||||
struct ggml_tensor * c0,
|
struct ggml_tensor * c0,
|
||||||
struct ggml_tensor * c1);
|
struct ggml_tensor * c1);
|
||||||
|
|
||||||
|
// Mapping operations
|
||||||
|
typedef void (*ggml_unary_op_f32_t)(const int, float *, const float *);
|
||||||
|
typedef void (*ggml_binary_op_f32_t)(const int, float *, const float *, const float *);
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_unary_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
const ggml_unary_op_f32_t fun);
|
||||||
|
|
||||||
|
struct ggml_tensor * ggml_map_binary_f32(
|
||||||
|
struct ggml_context * ctx,
|
||||||
|
struct ggml_tensor * a,
|
||||||
|
struct ggml_tensor * b,
|
||||||
|
const ggml_binary_op_f32_t fun);
|
||||||
|
|
||||||
//
|
//
|
||||||
// automatic differentiation
|
// automatic differentiation
|
||||||
//
|
//
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue