Ontology Alignment Evaluation Initiative - OAEI-2014 Campaign

Ontology Alignment for Query Answering (OA4QA): results

Global Evaluation Results

Summary table showing the averaged precision/recall/f-measure results for the whole set of queries: AML, LogMap, LogMapC and XMap were the only matchers whose alignments allowed to answer all the queries of the evaluation.

LogMap was the best performing tool for what concerns averaged precision, recall and f-measure, closely followed by LogMapC and AML. XMap, despite being able to produce an alignment not leading to unsatifiabilities during query answering, did not achieve optimal results.

The difference in results between the publicly available reference alignment of the Conference track (RA1) and its repaired version (RAR1, not to be confused with RA2 of the Conference track) was not significant and, as expected, affected precision. The f-measure ranking between the two reference alignments is preserved, but RAR2 highlights the gap between the top-4 matcher and the others, and it also allows to differentiate more among the least performing matchers.

Matcher Succesfull queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
Matcher Succesfull queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
AML 18/18 0.722 0.694 0.704 0.701 0.694 0.691
AOT 0/18 0.000 0.000 0.000 0.000 0.000 0.000
AOTL 6/18 0.056 0.056 0.056 0.056 0.056 0.056
LogMap 18/18 0.750 0.750 0.741 0.729 0.750 0.728
LogMapC 18/18 0.722 0.694 0.704 0.722 0.694 0.703
LogMapLite 11/18 0.409 0.423 0.379 0.351 0.402 0.348
MaasMatch 5/18 0.223 0.278 0.242 0.203 0.278 0.229
OMReasoner 15/18 0.409 0.458 0.404 0.407 0.458 0.404
RSDLWB 15/18 0.464 0.479 0.434 0.407 0.458 0.404
XMap 18/18 0.556 0.487 0.505 0.554 0.487 0.505

Detailed Evaluation Results

As expected, the basic queries were correctly covered by most matchers, violations queries were correctly covered by a reduced set of matchers (namely AML, LogMap, LogMapC and RSDLWB and XMap), while only few matchers (namely AML, LogMap, LogMapC and XMap) were able to answer an extremely reduced subset of the advanced queries.

Precision Evaluation Results

Detailed table showing precision results for each query:

Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
AML 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.629 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.991
AOT 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
AOTL 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
LogMap 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.629 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.499 0.499 1.000 0.991
LogMapC 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.991
LogMapLite 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
MaasMatch 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
OMReasoner 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.510 0.510 0.510 0.510 0.334 0.334 0.000 0.000 0.000 0.000 0.000 0.000
RSDLWB 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.000 0.510 0.510 0.510 0.510 0.334 0.334 0.000 0.000 0.000 0.000 0.000 0.000
XMap 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 0.967

Recall Evaluation Results

Detailed table showing recall results for each query:

Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
AML 0.500 0.500 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
AOT 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
AOTL 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
LogMap 0.500 0.500 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
LogMapC 0.500 0.500 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
LogMapLite 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
MaasMatch 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
OMReasoner 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.970 0.970 0.000 0.000 0.000 0.000 0.000 0.000
RSDLWB 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.371 0.000 1.000 1.000 1.000 1.000 0.970 0.970 0.000 0.000 0.000 0.000 0.000 0.000
XMap 0.500 0.500 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.273 0.266

F-measure Evaluation Results

Detailed table showing f-measure results for each query:

Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
AML 0.667 0.667 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.772 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.995
AOT 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
AOTL 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
LogMap 0.667 0.667 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.772 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.666 0.666 1.000 0.995
LogMapC 0.667 0.667 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.995
LogMapLite 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
MaasMatch 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
OMReasoner 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.676 0.676 0.676 0.676 0.497 0.497 0.000 0.000 0.000 0.000 0.000 0.000
RSDLWB 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.542 0.000 0.676 0.676 0.676 0.676 0.497 0.497 0.000 0.000 0.000 0.000 0.000 0.000
XMap 0.667 0.667 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.429 0.417
Original page: http://www.cs.ox.ac.uk/isg/projects/Optique/oaei/oa4qa/2014/results.html [cached: 13/05/2016]